近日，科大訊飛攜手華為在國產算力領域取得重大進展，雙方聯(lián)合團隊率先突破國產算力集群上MoE模型的大規(guī)?？绻?jié)點專家并行集群推理，這是繼DeepSeek公布其MoE模型訓練推理方案后，業(yè)界首個基于國產算力的全新解決方案。
聯(lián)合團隊通過軟硬件的深度協(xié)同創(chuàng)新，在多個關鍵技術層面深挖硬件潛力，完成昇騰集群上的驗證和部署。在算子融合方面，團隊在MLA預處理階段通過Vector與Cube異構計算單元并行流水，并將多個小算子融合重構為原子級計算單元，消除小算子下發(fā)開銷，MLA前處理時延降低50%+，實現(xiàn)性能的顯著提升。
在混合并行策略和通信計算并行優(yōu)化方面，團隊構建了TP（張量并行）+EP（專家并行）混合范式：對MLA計算層采用機內TP并行，發(fā)揮機內高速互聯(lián)優(yōu)勢，降低跨機通信損耗；創(chuàng)新MoE專家分層調度，64卡均衡分配專家計算節(jié)點，定制AllToAll通信協(xié)議，專家數(shù)據(jù)交換效率提升40%，構建跨機/機內雙層通信架構，通過分層優(yōu)化降低跨機流量60%；同時研發(fā)路由專家負載均衡算法，實現(xiàn)卡間負載差異小于10%，集群吞吐提升30%。
通過分布式架構創(chuàng)新與算法協(xié)同優(yōu)化，聯(lián)合團隊在國產算力上實現(xiàn)了顯著的性能提升。單卡靜態(tài)內存占用縮減至雙機部署的1/4，效率提升75%，專家計算密度增加4倍，推理吞吐提升3.2倍，端到端時延降低50%。
這一突破性的解決方案也將應用于訊飛星火深度推理模型的訓練加速，預期訓練時推理效率將提升200%。同時，基于該方案的推理引擎也實現(xiàn)了國產算力上DeepSeek V3和R1的高效推理。
近期，科大訊飛深度推理大模型星火X1也完成升級，在模型參數(shù)量比業(yè)界同行少一個數(shù)量級的情況下，星火X1的數(shù)學能力全面對標DeepSeek R1和OpenAI o1，在中文數(shù)學各項任務中均實現(xiàn)領先?？拼笥嶏w始終堅定走國產化道路，星火X1也是當前唯一采用全國產算力訓練的深度推理大模型。
科大訊飛將持續(xù)迭代升級星火大模型，并通過推理引擎加速為開發(fā)者帶來更普惠的星火SparkAPI，星火大模型系列API以及星辰MaaS平臺上開源的相關模型API成本也將進一步降低，為開發(fā)者提供更優(yōu)惠、更可靠的自主可控新選擇。
星空人工智能技術網 倡導尊重與保護知識產權。如發(fā)現(xiàn)本站文章存在版權等問題，煩請30天內提供版權疑問、身份證明、版權證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時溝通與處理。?。?a href="/">首頁 > 星空人工智能產業(yè) > 智能物聯(lián) » 科大訊飛聯(lián)合華為率先實現(xiàn)國產算力大規(guī)模跨節(jié)點專家并行集群推理