近日，阿里云機(jī)器學(xué)習(xí)平臺PAI與香港大學(xué)吳川教授團(tuán)隊(duì)合作的論文”Efficient Pipeline Planning for Expedited Distributed DNN Training”入選INFOCOM（IEEE International Conference on Computer Communications） 2022，論文提出了一個支持任意網(wǎng)絡(luò)拓?fù)涞耐搅魉€并行訓(xùn)練算法，有效減少大規(guī)模神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時間。
作為分布式機(jī)器學(xué)習(xí)的一種主流訓(xùn)練方式，流水線并行通過同時進(jìn)行神經(jīng)網(wǎng)絡(luò)計算與中間數(shù)據(jù)通信，減少訓(xùn)練時間。一個典型的同步流水線并行方案包含模型切分設(shè)備部署與微批量（micro-batch）執(zhí)行調(diào)度兩個部分。
以下的兩個圖給出了一個6層神經(jīng)網(wǎng)絡(luò)模型在4塊GPU上進(jìn)行同步流水線并行訓(xùn)練的示例。由圖表1所示，模型被切分成三個片段，其中第二個片段由于其計算量較大，被復(fù)制到兩個GPU上通過數(shù)據(jù)并行的方式訓(xùn)練。圖表2表示模型的三個微批量的具體訓(xùn)練過程，其中，由于第二個片段以數(shù)據(jù)并行方法在GPU2和GPU3上訓(xùn)練，在全部微批量訓(xùn)練完成后通過AllReduce算子同步模型片段參數(shù)。
圖表1模型切分設(shè)備部署
圖表2微批量執(zhí)行調(diào)度
然而，設(shè)計高效的流水線并行算法方案仍然存在諸多挑戰(zhàn)，例如深度學(xué)習(xí)模型各異，每層的訓(xùn)練時間也不相同，因此難以找到最優(yōu)的模型切分部署方案；當(dāng)前的流水線并行算法局限于同質(zhì)化的GPU間網(wǎng)絡(luò)拓?fù)洌F(xiàn)實(shí)機(jī)器學(xué)習(xí)集群具有復(fù)雜的混合GPU間網(wǎng)絡(luò)拓?fù)洌ɡ?，單個機(jī)器上的GPU可以通過PCIe或者NVLink連接，跨機(jī)通信可以基于TCP或者RDMA），導(dǎo)致現(xiàn)有方案無法使用等，以上問題導(dǎo)致實(shí)際訓(xùn)練中的GPU使用效率低。
針對以上難點(diǎn)，團(tuán)隊(duì)提出了一個近似最優(yōu)的同步流水線并行訓(xùn)練算法。算法由三個主要模塊構(gòu)成：
1） 一個基于遞歸最小割的GPU排序算法，通過分析GPU間網(wǎng)絡(luò)拓?fù)浯_定GPU的模型部署順序，保證最大化利用GPU間帶寬；
2） 一個基于動態(tài)規(guī)劃的模型切分部署算法，高效率找到最優(yōu)的模型分割與部署方案，平衡模型在每個GPU上的運(yùn)算時間與模型切片間的通信時間；
3） 一個近似最優(yōu)的列表排序算法，決策每個微批量在各個GPU上的執(zhí)行順序，最小化模型的訓(xùn)練時間。
從理論上對算法做出詳盡分析，給出了算法的最壞情況保證。同時，在測試集群中實(shí)驗(yàn)證明團(tuán)隊(duì)的算法相對PipeDream，可以取得最高157%的訓(xùn)練加速比。
INFOCOM是計算機(jī)網(wǎng)絡(luò)三大頂級國際會議之一，涉及計算機(jī)網(wǎng)絡(luò)領(lǐng)域的各個方面，在國際上享有盛譽(yù)且有廣泛的學(xué)術(shù)影響力。此次入選意味著阿里云機(jī)器學(xué)習(xí)平臺PAI在分布式深度學(xué)習(xí)模型訓(xùn)練優(yōu)化領(lǐng)域的工作獲得國際學(xué)界的廣泛認(rèn)可，進(jìn)一步彰顯了中國在分布式機(jī)器學(xué)習(xí)系統(tǒng)領(lǐng)域有著核心競爭力。
阿里云機(jī)器學(xué)習(xí)PAI是面向企業(yè)及開發(fā)者，提供輕量化、高性價比的云原生機(jī)器學(xué)習(xí)平臺，一站式的機(jī)器學(xué)習(xí)解決方案，全面提升機(jī)器學(xué)習(xí)工程效率。
星空人工智能技術(shù)網(wǎng) 倡導(dǎo)尊重與保護(hù)知識產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問題，煩請30天內(nèi)提供版權(quán)疑問、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時溝通與處理。?。?a href="/">首頁 > 新聞 » 阿里云機(jī)器學(xué)習(xí)平臺PAI與香港大學(xué)合作論文入選INFOCOM 2022，有效減少大規(guī)模神經(jīng)網(wǎng)絡(luò)訓(xùn)練時間