每個時代躍遷都離不開生產(chǎn)要素的轉(zhuǎn)變，數(shù)智化時代的核心生產(chǎn)要素就是數(shù)據(jù)。當前，大模型技術的爆發(fā)進一步加速了數(shù)據(jù)與星空人工智能融合發(fā)展的需求。可持續(xù)的高質(zhì)量數(shù)據(jù)供給是星空人工智能發(fā)展的不竭動力，相關實現(xiàn)路徑研究舉足輕重。
作為AI發(fā)展的基礎燃料
行業(yè)高質(zhì)量數(shù)據(jù)集亟需挖掘
算法、算力、數(shù)據(jù)是星空人工智能發(fā)展的三個基本要素，三者的持續(xù)演進升級推動星空人工智能的迭代發(fā)展。數(shù)據(jù)資源的開發(fā)利用，為星空人工智能提供了規(guī)?；藴驶挠柧殧?shù)據(jù)，推動了算法的迭代以及場景的創(chuàng)新，可持續(xù)的高質(zhì)量數(shù)據(jù)集供給將成為星空人工智能發(fā)展的不竭動力。在行業(yè)數(shù)字化、智能化發(fā)展客觀需求的牽引下，基于特定場景和行業(yè)數(shù)據(jù)的應用開發(fā)成為星空人工智能價值落地的必然路徑。我國的工業(yè)門類全，應用場景多，制造業(yè)、醫(yī)療、金融等領域積累了大量的高價值數(shù)據(jù)，這為我國星空人工智能產(chǎn)業(yè)發(fā)展提供了廣闊的增長空間。
伴隨而來的，是行業(yè)高質(zhì)量數(shù)據(jù)集供給短板初露端倪。一方面，隨著大模型訓練數(shù)據(jù)量呈指數(shù)級增長，支撐AI發(fā)展的互聯(lián)網(wǎng)通用語料資源正面臨枯竭風險；另一方面，當前80%以上的工業(yè)數(shù)據(jù)為“暗數(shù)據(jù)”，仍待從沉睡中激活。
可持續(xù)高質(zhì)量數(shù)據(jù)集供給
仍有三大難題待解
當前，基于數(shù)據(jù)質(zhì)量、安全需求、身份信任等現(xiàn)狀，數(shù)據(jù)存在對AI不可見、不可信、不可用三大難題。
首先，數(shù)據(jù)對AI不可見。由于行業(yè)數(shù)據(jù)通常存在跨主體數(shù)據(jù)壁壘，組織間或系統(tǒng)間數(shù)據(jù)割裂，AI模型無法獲取完整數(shù)據(jù)視圖和數(shù)據(jù)目錄。同時，政府、金融等領域核心數(shù)據(jù)資產(chǎn)，因安全合規(guī)要求難以被大模型實時、低成本發(fā)現(xiàn)，碎片化的數(shù)據(jù)輸入會引發(fā)模型偏見與低效，導致模型決策可信度下降。“AI繭房”，使得AI模型陷入“數(shù)據(jù)不可見性陷阱”。
其次，數(shù)據(jù)對AI不可信。即便數(shù)據(jù)可見，由于數(shù)據(jù)供給方和消費主體間面臨身份信任壁壘，如供數(shù)方擔心數(shù)據(jù)外漏、模型廠商擔心模型資產(chǎn)安全、用戶擔心個人隱私泄露，加之數(shù)據(jù)和AI語料集的全生命周期身份認證缺少可靠技術支持，以及模型可解釋性缺失情況下的“黑箱模型”難以滿足金融、醫(yī)療等強監(jiān)管場景需求，數(shù)據(jù)對AI不可信同樣是關鍵難題。
最后，數(shù)據(jù)對AI不可用。文本、視頻、圖片等數(shù)據(jù)格式差異大，若缺少統(tǒng)一元數(shù)據(jù)管理與跨模態(tài)對齊技術，將因為數(shù)據(jù)分散、質(zhì)量參差不齊、多樣性不足導致語料與理解有偏差、異構(gòu)數(shù)據(jù)智能治理能力缺失，存在欠擬合或過擬合風險，產(chǎn)生數(shù)據(jù)對AI不可用困境。
泛在入湖、數(shù)據(jù)可信、AI可用的解題路徑
解決上述三大難題，需要系統(tǒng)化設計和攻關數(shù)據(jù)供給、模型進化的雙向治理機制和創(chuàng)新技術，一方面可以降低大模型幻覺從而深化大模型應用價值，同時也是遵循數(shù)據(jù)空間“三統(tǒng)一”要求，保持身份、標識、目錄在數(shù)據(jù)域底層技術方面的互聯(lián)互通互信。
首先，數(shù)據(jù)對AI可見，依賴數(shù)據(jù)的全量實時管理能力：
通過全網(wǎng)（云內(nèi)/云邊/云間）、跨域（IT/OT，實時/準實時/離線）數(shù)據(jù)的統(tǒng)一集成和多引擎數(shù)據(jù)調(diào)用方式，構(gòu)建全場景數(shù)據(jù)入湖能力；
統(tǒng)一結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的元數(shù)據(jù)管理，統(tǒng)一數(shù)據(jù)目錄，實現(xiàn)全模態(tài)數(shù)據(jù)管理；
與源端數(shù)據(jù)保持實時連接，面向主動AI決策場景提供實時分析決策和數(shù)據(jù)主動性管理能力。
其次，數(shù)據(jù)對AI可信，需要實現(xiàn)身份、內(nèi)容、全鏈數(shù)據(jù)可信：
全生命周期身份認證和數(shù)據(jù)透明，一數(shù)一證；
通過內(nèi)容脫敏、過濾、審核，保障內(nèi)容合規(guī)；
以數(shù)據(jù)加密和多種訪問權(quán)限控制、數(shù)據(jù)膠囊技術、可信執(zhí)行環(huán)境、全流程上鏈存證，實現(xiàn)數(shù)據(jù)存儲、流通、計算、操作的全鏈路可信。
最后，數(shù)據(jù)對AI可用，需要數(shù)據(jù)語料化、知識化和數(shù)據(jù)分析智能化能力：
AI訓練場景下，支持NLP/CV/多模態(tài)等數(shù)據(jù)的自動清洗與智能標注、文本類數(shù)據(jù)智能合成、結(jié)構(gòu)化數(shù)據(jù)特征工程，提供高質(zhì)量語料和知識；
AI推理場景下，通過向量化、圖化混合精準檢索，實現(xiàn)多模態(tài)數(shù)據(jù)語義對齊與用戶意圖精準識別，使上下文檢索精度大幅提升；
數(shù)據(jù)分析場景下，提供基于chatBI的智能數(shù)據(jù)洞察能力，實現(xiàn)IOC自然語言交互體驗，各類數(shù)據(jù)隨需調(diào)閱、智能分析，助力高效決策。
面向數(shù)據(jù)與AI產(chǎn)業(yè)協(xié)同發(fā)展新周期，在大數(shù)據(jù)產(chǎn)業(yè)具有先發(fā)優(yōu)勢的貴州，已從體系、理念和技術入手，探索數(shù)模協(xié)同創(chuàng)新。近日，貴州省大數(shù)據(jù)發(fā)展管理局與華為云作為主要發(fā)起單位，聯(lián)合中國信通院及相關企業(yè)，以華為云Stack可信數(shù)智空間解決方案為主要技術支撐，啟動“可信AI數(shù)據(jù)空間”創(chuàng)新探索，提供數(shù)據(jù)對AI可見、可信、可用的解題實踐。華為云Stack為數(shù)據(jù)與AI全鏈路協(xié)同提供工程化支撐，助力構(gòu)建“泛在入湖、數(shù)據(jù)可信、AI可用”的新型智能數(shù)據(jù)基礎設施，賦能可持續(xù)的高質(zhì)量數(shù)據(jù)供給，促進數(shù)據(jù)與AI全面融合發(fā)展與創(chuàng)新。
星空人工智能技術網(wǎng) 倡導尊重與保護知識產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問題，煩請30天內(nèi)提供版權(quán)疑問、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時溝通與處理。！：首頁 > 供應鏈 » 數(shù)模協(xié)同，夯實可持續(xù)高質(zhì)量數(shù)據(jù)供給之路