MiniMax簡(jiǎn)介
MiniMax是全球領(lǐng)先的通用星空人工智能科技公司。自2022年初成立以來(lái)，MiniMax以“與所有人共創(chuàng)智能”為使命，致力于推動(dòng)星空人工智能科技前沿發(fā)展，實(shí)現(xiàn)通用星空人工智能(AGI）。MiniMax自主研發(fā)了一系列多模態(tài)通用大模型，包括MiniMax M1、Hailuo 02、Speech 2.5 和Music 01等，具備超長(zhǎng)上下文處理能力，能夠理解、生成并整合包括文本、音頻、圖像、視頻和音樂(lè)在內(nèi)的多種模態(tài)。自研模型的飛速進(jìn)展，有力支撐了MiniMax的全球業(yè)務(wù)拓展。迄今，MiniMax的自研多模態(tài)模型及AI原生應(yīng)用已累計(jì)為來(lái)自超過(guò)200個(gè)國(guó)家及地區(qū)的逾1.57億名個(gè)人用戶，以及來(lái)自超過(guò)90個(gè)國(guó)家及地區(qū)的50,000余名企業(yè)客戶以及開(kāi)發(fā)者提供服務(wù)。
業(yè)務(wù)大數(shù)據(jù)實(shí)踐：數(shù)據(jù)驅(qū)動(dòng)MiniMax業(yè)務(wù)高效迭代
1. 業(yè)務(wù)痛點(diǎn)
自2024年起，MiniMax的海螺AI、MiniMax Audio和星野等業(yè)務(wù)在國(guó)內(nèi)外迎來(lái)快速增長(zhǎng)，用戶數(shù)據(jù)量呈現(xiàn)爆發(fā)式增長(zhǎng)，快速攀升至數(shù)十PB級(jí)別，給數(shù)據(jù)平臺(tái)的建設(shè)帶來(lái)了諸多技術(shù)挑戰(zhàn)：
1) 異構(gòu)架構(gòu)的效率瓶頸
Ø 技術(shù)棧碎片化：前期MiniMax在國(guó)內(nèi)和海外引入了不同云廠商，部署獨(dú)立數(shù)據(jù)平臺(tái)，需要開(kāi)發(fā)團(tuán)隊(duì)同時(shí)維護(hù)多套不同引擎的開(kāi)發(fā)規(guī)范
Ø 開(kāi)發(fā)效率低：基于開(kāi)源Dolphin Scheduler二次開(kāi)發(fā)自建大數(shù)據(jù)治理工具，功能迭代和維護(hù)成本高，無(wú)法高效滿足快速發(fā)展的業(yè)務(wù)需求
Ø 運(yùn)維成本高：雙系統(tǒng)并行導(dǎo)致權(quán)限治理、資源監(jiān)控、故障排查等運(yùn)維工作需要跨平臺(tái)執(zhí)行，管理成本線性增長(zhǎng)
2) 資源成本與利用率失衡
Ø TCO高昂：部分云服務(wù)按量付費(fèi)模式導(dǎo)致數(shù)據(jù)掃描、數(shù)據(jù)傳輸、計(jì)算節(jié)點(diǎn)運(yùn)行時(shí)間等成本難以預(yù)測(cè)和控制
Ø 資源利用率低：部分云服務(wù)成熟度不足，在大規(guī)模實(shí)時(shí)數(shù)倉(cāng)等復(fù)雜場(chǎng)景下優(yōu)化效果有限
Ø 資源優(yōu)化瓶頸：開(kāi)源大數(shù)據(jù)組件的任務(wù)優(yōu)化高度依賴人工經(jīng)驗(yàn)，調(diào)優(yōu)工作耗費(fèi)大量人力成本
2. 阿里云原生數(shù)倉(cāng)解決方案
阿里云協(xié)助MiniMax構(gòu)建了全球一體化云原生數(shù)倉(cāng)技術(shù)架構(gòu)，該架構(gòu)以阿里云數(shù)據(jù)開(kāi)發(fā)治理平臺(tái)Dataworks作為一站式開(kāi)發(fā)治理中樞，實(shí)現(xiàn)了異構(gòu)數(shù)據(jù)源接入、流批計(jì)算融合、實(shí)時(shí)離線數(shù)據(jù)協(xié)同及數(shù)據(jù)生命周期全鏈路管理
1) 數(shù)據(jù)源層
聚合多模異構(gòu)存儲(chǔ)，覆蓋OLTP、非結(jié)構(gòu)化數(shù)據(jù)及實(shí)時(shí)流數(shù)據(jù)
2) 計(jì)算層
Ø 數(shù)據(jù)治理：DataWorks實(shí)時(shí)數(shù)據(jù)集成提供異構(gòu)數(shù)據(jù)源到數(shù)倉(cāng)的一站式同步能力，具備完善的元數(shù)據(jù)管理、質(zhì)量監(jiān)控和權(quán)限管控功能
Ø 實(shí)時(shí)計(jì)算：基于阿里云實(shí)時(shí)計(jì)算Flink版處理Kafka流式數(shù)據(jù)，支撐低延時(shí)實(shí)時(shí)處理
Ø 實(shí)時(shí)數(shù)倉(cāng)：Hologres支撐海量數(shù)據(jù)實(shí)時(shí)寫(xiě)入、更新與分析，提供亞秒級(jí)響應(yīng)能力
Ø 離線數(shù)倉(cāng)：MaxCompute承擔(dān)批量數(shù)據(jù)加工處理，支撐復(fù)雜離線分析場(chǎng)景
Ø 數(shù)據(jù)檢索：Elasticsearch承載Flink處理后的近實(shí)時(shí)數(shù)據(jù)，滿足全文檢索和即席查詢需求
3) 存儲(chǔ)層
對(duì)象存儲(chǔ)OSS作為冷數(shù)據(jù)存儲(chǔ)層，無(wú)縫對(duì)接MaxCompute，實(shí)現(xiàn)數(shù)據(jù)智能冷熱分層，優(yōu)化成本與性能平衡
3. 業(yè)務(wù)價(jià)值
基于阿里云云原生數(shù)倉(cāng)解決方案，MiniMax構(gòu)建了覆蓋全球業(yè)務(wù)的一體化數(shù)倉(cāng)技術(shù)棧，依托高性能、低延時(shí)與 Serverless 快速?gòu)椥阅芰?，為?jīng)營(yíng)分析、用戶增長(zhǎng)等關(guān)鍵業(yè)務(wù)場(chǎng)景提供了高效穩(wěn)定的技術(shù)支撐。
1) 數(shù)據(jù)入倉(cāng)加速，決策效率提升
通過(guò)DataWorks可視化ETL實(shí)現(xiàn)數(shù)據(jù)源到Hologres的實(shí)時(shí)全量與增量同步，利用MaxCompute和Hologres的跨引擎數(shù)據(jù)聯(lián)邦能力，構(gòu)建實(shí)時(shí)存儲(chǔ)與離線計(jì)算解耦架構(gòu)，關(guān)鍵數(shù)據(jù)入倉(cāng)時(shí)間提前約1小時(shí)，顯著提升業(yè)務(wù)決策時(shí)效性。
2) 架構(gòu)統(tǒng)一，運(yùn)維效率提升
全球統(tǒng)一技術(shù)棧基于阿里云云原生數(shù)倉(cāng)的Serverless存算分離架構(gòu)，大幅降低運(yùn)維復(fù)雜度，提升團(tuán)隊(duì)交付效率。
3) 穩(wěn)定支撐大規(guī)模數(shù)據(jù)處理
基于DataWorks、 MaxCompute、Hologres等構(gòu)建的一站式大數(shù)據(jù)平臺(tái)，實(shí)現(xiàn)開(kāi)發(fā)、調(diào)度、運(yùn)維與治理全鏈路統(tǒng)一管理，當(dāng)前數(shù)據(jù)總量超數(shù)十PB，日均處理量達(dá)數(shù)百TB。
4) 資源利用率優(yōu)化，成本顯著降低
通過(guò)存算分離、算子優(yōu)化等技術(shù)手段，計(jì)算資源用量降低50%，后續(xù)通過(guò)進(jìn)一步優(yōu)化計(jì)算資源利用率，計(jì)算資源用量整體降低75%；通過(guò)數(shù)據(jù)生命周期管理策略，存儲(chǔ)成本降低40%，實(shí)現(xiàn)性能與成本的最優(yōu)平衡。
基于阿里云 MaxFrame 構(gòu)建云原生數(shù)據(jù)流水線：賦能AI工作流加速
在大模型技術(shù)迅猛發(fā)展的背景下，數(shù)據(jù)與星空人工智能的深度融合已成為企業(yè)構(gòu)建核心競(jìng)爭(zhēng)力的關(guān)鍵要素。大模型訓(xùn)練持續(xù)驅(qū)動(dòng)大規(guī)模數(shù)據(jù)處理技術(shù)升級(jí)迭代，對(duì)計(jì)算彈性、預(yù)處理算子性能及統(tǒng)一數(shù)據(jù)治理體系提出了更高要求?；?MiniMax 在阿里云云原生數(shù)倉(cāng)解決方案上的深度業(yè)務(wù)實(shí)踐，雙方正持續(xù)探索更先進(jìn)的大規(guī)模數(shù)據(jù)處理與AI融合解決方案，致力于通過(guò)阿里云MaxFrame等新一代計(jì)算框架，進(jìn)一步提升數(shù)據(jù)處理效能，加速AI創(chuàng)新落地。
1. 業(yè)務(wù)痛點(diǎn)
1) 資源彈性瓶頸
模型訓(xùn)練節(jié)奏快，常需臨時(shí)調(diào)用大規(guī)模彈性資源，對(duì)PB級(jí)數(shù)據(jù)進(jìn)行短時(shí)高效預(yù)處理，并在任務(wù)完成后快速釋放資源。傳統(tǒng)架構(gòu)難以兼顧資源彈性、處理時(shí)效與成本控制。
2) 預(yù)處理算子性能不足
數(shù)據(jù)預(yù)處理過(guò)程中常出現(xiàn)文件大小限制、內(nèi)存溢出（OOM）、全量MinHash去重任務(wù)無(wú)法完成等問(wèn)題，導(dǎo)致作業(yè)成功率低、穩(wěn)定性差，嚴(yán)重影響整體流程效率。
3) 缺乏統(tǒng)一任務(wù)管理與可視化支持
原有流程依賴Python程序完成開(kāi)發(fā)、調(diào)試與生產(chǎn)任務(wù)，缺少可視化任務(wù)開(kāi)發(fā)、管理、調(diào)度和運(yùn)維能力，多參數(shù)迭代效果評(píng)估困難，開(kāi)發(fā)效率低下。
4) 開(kāi)發(fā)與運(yùn)維人力投入受限
自研數(shù)據(jù)預(yù)處理（如Common Crawl數(shù)據(jù)集處理等）需投入大量人力進(jìn)行開(kāi)發(fā)與維護(hù)，團(tuán)隊(duì)難以專注于核心AI業(yè)務(wù)創(chuàng)新。
2. 解決方案
MiniMax基于阿里云MaxCompute構(gòu)建了全托管、一站式 Data + AI 數(shù)據(jù)處理平臺(tái)，并通過(guò)MaxFrame分布式計(jì)算框架實(shí)現(xiàn)了對(duì)多類數(shù)據(jù)（結(jié)構(gòu)化與非結(jié)構(gòu)化、多模態(tài)等）的統(tǒng)一管理與彈性伸縮的大規(guī)模預(yù)處理能力：
1) 阿里云自研分布式計(jì)算框架，統(tǒng)一 Python 開(kāi)發(fā)生態(tài)，同時(shí)無(wú)縫對(duì)接MaxCompute 計(jì)算資源、數(shù)據(jù);
2) 提供兼容開(kāi)源的分布式算子，如 Pandas、Minhash 等，大大提高數(shù)據(jù)處理效率;
3) 支持分布式數(shù)據(jù)處理、離線推理等場(chǎng)景，構(gòu)建 Data + AI 開(kāi)發(fā)整體 Pipeline;
4) 提供開(kāi)箱即用的 Python 環(huán)境，支持用戶自定義鏡像，提供更便捷的開(kāi)發(fā)體驗(yàn)。
3.業(yè)務(wù)價(jià)值
通過(guò)引入MaxFrame分布式計(jì)算框架，MiniMax在資源利用率、處理效率與平臺(tái)架構(gòu)方面實(shí)現(xiàn)顯著提升：
1) 資源利用率顯著提高
Ø 借助MaxCompute“包月固定資源+按需彈性資源”組合模式，MiniMax可根據(jù)業(yè)務(wù)周期靈活調(diào)配資源，高峰時(shí)段支持?jǐn)?shù)十萬(wàn)核計(jì)算資源的快速?gòu)椥詳U(kuò)展；
Ø 實(shí)現(xiàn)計(jì)算資源利用率提升30%，在資源效率與成本間取得最優(yōu)平衡；
Ø 通過(guò)MaxCompute原生存儲(chǔ)冷熱分層能力，對(duì)低熱度大表自動(dòng)實(shí)施低頻/長(zhǎng)期存儲(chǔ)策略，歷史數(shù)據(jù)存儲(chǔ)成本降低40%。
2) 分布式計(jì)算框架帶來(lái)性能突破
Ø 基于MaxFrame構(gòu)建的分布式計(jì)算架構(gòu)替代原有開(kāi)源方案，其內(nèi)置高性能Minhash等優(yōu)化算子，縮短大模型數(shù)據(jù)預(yù)處理任務(wù)耗時(shí)；
Ø 加載FastText模型完成文本分類任務(wù)，利用MaxCompute彈性CPU資源執(zhí)行批量推理，顯著提升處理效率。
3) 數(shù)據(jù)平臺(tái)完成架構(gòu)升級(jí)，運(yùn)維效率提升
Ø 基于MaxCompute MaxFrame構(gòu)建國(guó)內(nèi)外一體化Data+AI數(shù)據(jù)處理平臺(tái)，依托全托管云原生PaaS能力，顯著降低自研與維護(hù)成本，運(yùn)維資源投入減少50%；
Ø 實(shí)現(xiàn)開(kāi)發(fā)、調(diào)度、運(yùn)維閉環(huán)統(tǒng)一管理，支持多模態(tài)數(shù)據(jù)與復(fù)雜AI工作流的高效協(xié)同。
總結(jié)與展望
MiniMax與阿里云開(kāi)展深度技術(shù)協(xié)同，在大模型時(shí)代成功構(gòu)建了以云原生數(shù)據(jù)倉(cāng)庫(kù)為核心的高效、低成本Data+AI一體化數(shù)據(jù)處理平臺(tái)，有效應(yīng)對(duì)業(yè)務(wù)高速迭代與彈性擴(kuò)展挑戰(zhàn)。該方案不僅實(shí)現(xiàn)了數(shù)據(jù)處理效能的顯著提升和運(yùn)營(yíng)成本的大幅優(yōu)化，也為大模型驅(qū)動(dòng)下的AI應(yīng)用研發(fā)提供了可廣泛復(fù)用的工程范式。未來(lái)，雙方將持續(xù)深化在大模型數(shù)據(jù)預(yù)處理、多模態(tài)數(shù)據(jù)處理等前沿場(chǎng)景的聯(lián)合創(chuàng)新，共同推動(dòng)Data+AI技術(shù)在全球范圍內(nèi)的規(guī)?；a(chǎn)業(yè)應(yīng)用。
星空人工智能技術(shù)網(wǎng) 倡導(dǎo)尊重與保護(hù)知識(shí)產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問(wèn)題，煩請(qǐng)30天內(nèi)提供版權(quán)疑問(wèn)、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時(shí)溝通與處理。?。?a href="/">首頁(yè) > 星空人工智能產(chǎn)業(yè) > AI大模型 » 阿里云攜手MiniMax構(gòu)建云原生數(shù)倉(cāng)最佳實(shí)踐：大模型時(shí)代的 Data + AI 數(shù)據(jù)處理平臺(tái)