近日，阿里云機(jī)器學(xué)習(xí)平臺(tái)PAI主導(dǎo)的論文《Parameter-Efficient Sparsity for Large Language Models Fine-Tuning》，大模型參數(shù)高效稀疏訓(xùn)練算法PST被IJCAI（International Joint Conference on Artificial Intelligence）2022錄取。論文通過(guò)減少模型稀疏訓(xùn)練過(guò)程中需要更新的參數(shù)量，從而減少大模型稀疏訓(xùn)練的時(shí)間以及資源開(kāi)銷(xiāo)。
IJCAI（International Joint Conference on Artificial Intelligence）是星空人工智能領(lǐng)域的頂級(jí)國(guó)際會(huì)議之一，涉及機(jī)器學(xué)習(xí)，計(jì)算機(jī)視覺(jué)，自然語(yǔ)言處理等多個(gè)方向。本年度會(huì)議投稿超過(guò)4500篇，錄用率僅為15%，會(huì)議于7月在奧地利維也納召開(kāi)。此次入選意味著阿里云機(jī)器學(xué)習(xí)平臺(tái)PAI在大模型優(yōu)化方向上的研究達(dá)到了全球業(yè)界先進(jìn)水平，獲得了國(guó)際學(xué)者的認(rèn)可，展現(xiàn)了中國(guó)深度學(xué)習(xí)技術(shù)在國(guó)際上的競(jìng)爭(zhēng)力。
首個(gè)大模型參數(shù)高效的稀疏訓(xùn)練算法PST
論文核心內(nèi)容是通過(guò)減少模型稀疏訓(xùn)練過(guò)程中需要更新的參數(shù)量，從而減少大模型稀疏訓(xùn)練的時(shí)間以及資源開(kāi)銷(xiāo)。近幾年，越來(lái)越多的大模型被提出，這些模型的參數(shù)量從百億到千億甚至萬(wàn)億，雖然它們可以達(dá)到很高的模型精度，但是過(guò)大的模型體積限制了這些大模型的實(shí)際落地應(yīng)用。稀疏作為一個(gè)有效的模型壓縮手段，可以將大模型壓縮到較小的體積，使得它們能夠以較少的資源較快的速度運(yùn)行起來(lái)。然而，稀疏訓(xùn)練本身會(huì)引入額外的參數(shù)，從而使得大模型的稀疏訓(xùn)練需要占用更多的訓(xùn)練資源以及導(dǎo)致訓(xùn)練速度更慢。
針對(duì)這一問(wèn)題，PST提出了一種參數(shù)高效的稀疏訓(xùn)練算法，通過(guò)分析權(quán)重的重要性指標(biāo)，得出了其擁有兩個(gè)特性：低秩性和結(jié)構(gòu)性。根據(jù)這一結(jié)論，PST算法引入了兩組小矩陣來(lái)計(jì)算權(quán)重的重要性，相比于原本需要與權(quán)重一樣大的矩陣來(lái)保存和更新重要性指標(biāo)，稀疏訓(xùn)練需要更新的參數(shù)量大大減少。對(duì)比常用的稀疏訓(xùn)練算法，PST算法可以在僅更新1.5%的參數(shù)的情況下，達(dá)到相近的稀疏模型精度。
PST技術(shù)已經(jīng)集成在阿里云機(jī)器學(xué)習(xí)PAI的模型壓縮庫(kù)，以及Alicemind平臺(tái)大模型稀疏訓(xùn)練功能中。為阿里巴巴集團(tuán)內(nèi)部落地使用大模型帶來(lái)了性能加速，在百億大模型PLUG上，PST相比于原本的稀疏訓(xùn)練可以在模型精度不下降的情況下，加速2.5倍，內(nèi)存占用減少10倍。目前，阿里云機(jī)器學(xué)習(xí)PAI已經(jīng)被廣泛應(yīng)用于各行各業(yè)，提供AI開(kāi)發(fā)全鏈路服務(wù)，實(shí)現(xiàn)企業(yè)自主可控的AI方案，全面提升機(jī)器學(xué)習(xí)工程效率。
論文名字：
Parameter-Efficient Sparsity for Large Language Models Fine-Tuning
論文作者：
李與超、羅福莉、譚傳奇、王夢(mèng)娣、黃松芳、李深、白俊杰
論文鏈接：https://arxiv.org/pdf/2205.11005.pdf
星空人工智能技術(shù)網(wǎng) 倡導(dǎo)尊重與保護(hù)知識(shí)產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問(wèn)題，煩請(qǐng)30天內(nèi)提供版權(quán)疑問(wèn)、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時(shí)溝通與處理。?。?a href="/">首頁(yè) > 新聞 » 阿里云機(jī)器學(xué)習(xí)平臺(tái)PAI論文入選IJCAI 2022會(huì)議