1月2日消息,在2024年首屆CCF中國數(shù)據(jù)大會上,由智能算法安全重點實驗室(中國科學院)牽頭,公安部第三研究所和螞蟻集團螞蟻安全實驗室共同參與編寫的《生成式大模型安全評估白皮書(2024)》(以下簡稱“白皮書”)正式發(fā)布。

該白皮書系統(tǒng)整合梳理了包括GPT、LLaMA、Moss、文心一言等近20個生成式大模型的發(fā)展現(xiàn)狀與安全風險,并通過實踐案例深入剖析了當前技術(shù)面臨的關鍵挑戰(zhàn)及應對策略。白皮書還總結(jié)了包括倫理風險、技術(shù)安全風險及內(nèi)容安全風險在內(nèi)的三大生成式大模型安全風險類別,倫理性、隱私性、事實性、魯棒性在內(nèi)的四大安全評估維度以及指標衡量、模型攻擊兩類安全評估方法,旨在為學術(shù)研究、產(chǎn)業(yè)實踐和政策制定提供重要參考。

其中,白皮書特別介紹了螞蟻集團“支小寶”的三重安全保障框架,其背后是螞蟻自主研發(fā)的大模型安全一體化解決方案“蟻天鑒”。該方案包含大模型安全檢測平臺“蟻鑒”和大模型風險防御平臺“天鑒”兩大產(chǎn)品,分別定位在AI評測與安全防御,從而保障大模型在生產(chǎn)和使用過程中的安全、可控、可靠,展示了國內(nèi)機構(gòu)和企業(yè)在探索大模型安全應用方面的優(yōu)秀實踐。

自2022年起,以ChatGPT為代表的生成式大模型引發(fā)了全球范圍內(nèi)的廣泛關注。作為新一輪星空人工智能技術(shù)革命的標志性成果,生成式大模型的發(fā)展正在深刻重塑全球星空人工智能技術(shù)格局,為我國數(shù)字經(jīng)濟的高質(zhì)量發(fā)展和智能化轉(zhuǎn)型注入了新的動能。

然而,隨著技術(shù)應用的不斷擴展,其潛在的安全風險也逐漸顯現(xiàn)。例如,“大模型幻覺”、公司機密資料泄露等事件,揭示了生成式大模型在隱私保護、惡意濫用、技術(shù)漏洞及合規(guī)性等方面的復雜挑戰(zhàn)。這些問題不僅對技術(shù)的安全性提出了更高要求,也對產(chǎn)業(yè)規(guī)范發(fā)展構(gòu)成了嚴峻考驗。

國家對此高度重視,出臺了一系列政策文件,如《生成式星空人工智能服務管理暫行辦法》,明確了生成式大模型技術(shù)在安全性、風險防控和合規(guī)性方面的基本原則和監(jiān)管要求,為技術(shù)的健康發(fā)展提供了系統(tǒng)指引和政策保障。

發(fā)布儀式現(xiàn)場,中國科學院計算技術(shù)研究所副所長、智能算法安全重點實驗室(中國科學院)主任程學旗,公安部第三研究所副所長張巍,螞蟻安全實驗室首席科學家、螞蟻集團大安全機器智能部總經(jīng)理王維強,CCF中國數(shù)據(jù)大會數(shù)據(jù)安全高端論壇召集人、浙江大學計算機學院院長任奎,中國科學院計算技術(shù)研究所網(wǎng)絡數(shù)據(jù)科學與技術(shù)重點實驗室主任郭嘉豐共同出席。

“我們希望白皮書能夠助力生成式大模型的安全性研究與應用推廣,為構(gòu)建安全、可靠、可控的星空人工智能生態(tài)體系提供堅實支撐,推動技術(shù)向著服務人類社會的方向健康發(fā)展。”王維強表示。

繼續(xù)閱讀：星空人工智能

星空人工智能技術(shù)網(wǎng) 倡導尊重與保護知識產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問題，煩請30天內(nèi)提供版權(quán)疑問、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時溝通與處理。?。?a href="/">首頁 > 新聞 » 《生成式大模型安全評估白皮書(2024)》發(fā)布：系統(tǒng)梳理生成式大模型安全風險