隨著大語言模型（LLM）規(guī)模和計算需求增長，如何高效應用這些模型成為關鍵挑戰(zhàn)。阿里云PAI團隊推出 EasyDistill 開源框架（GitHub鏈接），簡化大模型的知識蒸餾過程，顯著降低計算成本，同時保持高性能?；?EasyDistill 訓練的 DistilQwen-ThoughtX 系列模型，結(jié)合創(chuàng)新的變長思維鏈推理技術，能夠根據(jù)任務難度自適應調(diào)整推理步驟，避免傳統(tǒng)思維鏈方法的“過度思考”問題。該系列模型依托包含200萬條標注思維鏈的 OmniThought 數(shù)據(jù)集，并引入推理冗余度（RV）和認知難度（CD）優(yōu)化推理效率。其中，DistilQwen-ThoughtX-32B 在復雜推理任務上表現(xiàn)卓越，甚至超越專有數(shù)據(jù)集訓練的同類模型，為高效AI推理提供了更優(yōu)解決方案。


DistilQwen-ThoughtX 和現(xiàn)有流行的推理模型具體效果比較。
阿里云星空人工智能平臺 PAI，作為一站式的機器學習和深度學習平臺，對 DistilQwen-ThoughtX 模型系列提供了全面的技術支持。開發(fā)者和企業(yè)客戶，都可以通過 PAI-ModelGallery 輕松實現(xiàn) DistilQwen-ThoughtX 系列模型的訓練、評測、壓縮和快速部署。
本文詳細介紹在PAI平臺使用 DistilQwen-ThoughtX 蒸餾系列模型的全鏈路最佳實踐。

一、PAI-ModelGallery 介紹

PAI-ModelGallery 是阿里云星空人工智能平臺PAI的產(chǎn)品組件，它集成了國內(nèi)外 AI 開源社區(qū)中優(yōu)質(zhì)的預訓練模型，涵蓋了包括大語言模型，文本生成圖片、語音識別等各個領域。通過 PAI 對于這些模型的適配，用戶可以通過零代碼和 SDK 的方式實現(xiàn)從訓練到部署再到推理的全過程，大大簡化了模型的開發(fā)流程，為開發(fā)者和企業(yè)用戶帶來了更快、更高效、更便捷的 AI 開發(fā)和應用體驗。

二、運行環(huán)境要求

·        本示例目前支持在阿里云北京、上海、深圳、杭州、烏蘭察布、新加坡等多地域。
·        資源配置要求：
o   訓練階段：PAI-DistilQwen-ThoughtX-7B 量級模型：最低使用A10（24GB顯存）及以上卡型運行訓練任務；PAI-DistilQwen-ThoughtX-32B 量級模型：最低使用GU108及以上卡型運行訓練任務
o   部署階段：PAI-DistilQwen-ThoughtX-7B需要的最低卡型配置為單卡P100、單卡T4、單卡V100（gn6v）等，推薦部署機型為單卡GU30、單卡A10等；PAI-DistilQwen-ThoughtX-32B需要的最低卡型配置為雙卡GU60、四卡A10等，推薦部署機型為四卡GU60、8卡V100-32G等

三、通過 PAI-ModelGallery 使用模型

登錄 PAI 控制臺，左側(cè)導航欄進入快速開始 > Model Gallery（鏈接：https://pai.console.aliyun.com/#/quick-start/models）；在 PAI-Model Gallery 中選擇 PAI-DistilQwen-ThoughtX 系列模型卡片，以 PAI-DistilQwen-ThoughtX-7B 為例，模型卡片如下圖所示：

模型部署和調(diào)用

PAI 預置 PAI-DistilQwen-ThoughtX-7B 模型部署所需的配置信息，支持多樣化的部署選擇，包含： SGLang 部署/ Blade LLM 部署/ VLLM 部署和 Transformers 部署，零代碼即可將模型部署到 PAI-EAS 推理服務平臺。


 Transformers 部署的推理服務支持使用 ChatLLM WebUI 進行實時交互，示例如下：


推理服務同樣支持以OpenAI API兼容的方式調(diào)用。

模型微調(diào)訓練

PAI 為 DistilQwen-ThoughtX-7B 模型配置了SFT和DPO兩種微調(diào)算法，支持用戶以開箱即用得方式對 PAI-DistilQwen-ThoughtX-7B 進行微調(diào)。SFT 訓練算法支持使用 Json 格式輸入，每條數(shù)據(jù)由問題、答案組成，分用“instruction”、“output”字段表示，例如：

當完成數(shù)據(jù)的準備，用戶可以將數(shù)據(jù)上傳到對象存儲 OSS Bucket 中。算法需要使用A10（24GB顯存）的 GPU 資源，請確保選擇使用的資源配額內(nèi)有充足的計算資源。


訓練算法支持的超參信息如下，用戶可以根據(jù)使用的數(shù)據(jù)，計算資源等調(diào)整超參，或是使用算法默認配置的超參。

超參數(shù)	默認值	類型	含義
training_strategy	sft	string	訓練算法，可以為sft或者dpo
learning_rate	5e-5	float	模型訓練的學習率
num_train_epochs	1	int	訓練輪次
per_device_train_batch_size	1	int	每張GPU卡在一次訓練迭代的數(shù)據(jù)量
seq_length	128	int	文本序列長度
lora_dim	32	int	LoRA維度（當lora_dim>0時，使用LoRA/QLoRA輕量化訓練）
lora_alpha	32	int	LoRA權重（當lora_dim>0時，使用LoRA/QLoRA輕量化訓練，該參數(shù)生效）
load_in_4bit	true	bool	模型是否以4比特加載（當lora_dim>0，load_in_4bit為true且load_in_8bit為false時，使用4比特QLoRA輕量化訓練）
load_in_8bit	false	bool	模型是否以8比特加載（當lora_dim>0，load_in_4bit為false且load_in_8bit為true時，使用8比特QLoRA輕量化訓練）
gradient_accumulation_steps	8	int	梯度累積步數(shù)
apply_chat_template	true	bool	算法是否為訓練數(shù)據(jù)加上模型默認的chat template 以DistilQwen2.5系列模型為例，格式為 ·        問題：<|im_end|>\n<|im_start|>user\n + instruction + <|im_end|>\n ·        答案：<|im_start|>assistant\n + output + <|im_end|>\n
system_prompt	true	string	模型訓練使用的系統(tǒng)提示語，默認為You are a helpful assistant

點擊“訓練”按鈕在PAI- Model Gallery上開始進行訓練，用戶可以查看訓練任務狀態(tài)和訓練日志。


如果需要將模型部署至PAI-EAS，可以在同一頁面的模型部署卡面選擇資源組，并且點擊“部署”按鈕實現(xiàn)一鍵部署。模型調(diào)用方式和上文直接部署模型的調(diào)用方式相同。
如果需要評測微調(diào)后模型的性能，可以從任務頁面右上角評測按鈕進入評測頁。詳情見下一節(jié)：模型評測。

模型評測

PAI 為 DistilQwen-ThoughtX-7B模型配置了評測算法，支持用戶以開箱即用得方式對 PAI-DistilQwen-ThoughtX-7B 以及微調(diào)后模型進行評測。通過評測能幫助用戶和其他模型做性能對比，指導用戶進行精準地模型選擇和優(yōu)化。
模型評測入口：

 
模型評測支持自定義數(shù)據(jù)集評測和公開數(shù)據(jù)集評測：

o   自定義數(shù)據(jù)集評測
模型評測支持文本匹配指標BLEU/ROUGLE，以及裁判員模型評測（專家模式）。用戶可以基于自己場景的獨特數(shù)據(jù)，評測所選模型是否適合自己的場景。
評測需要提供JSONL格式的評測集文件，每行數(shù)據(jù)是一個List，使用question標識問題列，answer標識答案列。示例文件：evaluation_test.jsonl
o   公開數(shù)據(jù)集評測
通過對開源的評測數(shù)據(jù)集按領域分類，對大模型進行綜合能力評估。目前PAI維護了MMLU、TriviaQA、HellaSwag、GSM8K、C-Eval、TruthfulQA，其他公開數(shù)據(jù)集陸續(xù)接入中。
之后選擇評測結(jié)果輸出路徑，并根據(jù)系統(tǒng)推薦選擇相應計算資源，最后提交評測任務。等待任務完成，在任務頁面查看評測結(jié)果。自定義數(shù)據(jù)集和公開數(shù)據(jù)集評測結(jié)果示例如下：

模型壓縮

經(jīng)過訓練后的模型在部署之前可以對模型進行量化壓縮以減小模型部署資源占用量，在模型訓練任務界面可以創(chuàng)建模型壓縮任務。和模型訓練相同，配置壓縮方式、壓縮設置、輸出配置以及計算資源后，創(chuàng)建壓縮任務：


開始壓縮之后可以看到壓縮任務界面。當壓縮完成后，點擊部署即可對壓縮后的模型進行一鍵部署。

四、通過 PAI-ModelGallery 進行大模型蒸餾

除了可以在 PAI-ModelGallery 使用 PAI-DistilQwen-ThoughtX 系列蒸餾模型，PAI-ModelGallery 還具備一系列能力對大語言模型訓練所需的指令進行擴展和改寫。通過在 PAI-ModelGallery 部署教師大語言模型，以及用于指令增強和指令優(yōu)化的專精小模型，用戶可以輕松實現(xiàn)模型蒸餾的各個算法功能。更多技術的最佳實踐，請參考先前發(fā)布的“大語言模型數(shù)據(jù)增強與模型蒸餾解決方案”（這里）。對于新出的 DeepSeek-R1 類推理模型的蒸餾，用戶也可以參考“蒸餾 DeepSeek-R1 等深度推理大模型”來訓練部署自己的推理模型（這里）。

五、結(jié)論

在技術發(fā)展的快車道上，阿里云的 Qwen 模型系列和 DistilQwen-ThoughtX 模型系列為我們展示了大型語言模型在推理場景中的巨大潛力。通過對 CoT 數(shù)據(jù)細粒度分類和黑盒化知識蒸餾技術的結(jié)合，DistilQwen-ThoughtX大幅度提升了在推理場景下的模型能力。阿里云的 PAI 平臺則提供了強大的支持，使得開發(fā)者和企業(yè)客戶可以更加輕松地部署和優(yōu)化這些模型。本解決方案從全方位解析了在 PAI 平臺使用 DistilQwen-ThoughtX 的最佳實踐，為用戶提供了清晰的指導和有價值的參考。

六、相關資源鏈接

·        EasyDistill 框架介紹
https://developer.aliyun.com/article/1664823
·        DistilQwen-ThoughtX 介紹
https://developer.aliyun.com/article/1665220
·        DistilQwen2.5 介紹
https://developer.aliyun.com/article/1653842
·        蒸餾 DeepSeek-R1 等深度推理大模型
https://help.aliyun.com/zh/pai/user-guide/distillation-solution-of-llm-for-deep-reasoning
·        大語言模型數(shù)據(jù)增強與模型蒸餾解決方案：
https://help.aliyun.com/zh/pai/use-cases/llm-data-enhancement-and-model-distillation-solution
·        PAI Model Gallery：
https://help.aliyun.com/zh/pai/user-guide/model-gallery/
·        PAI Python SDK Github：
https://github.com/aliyun/pai-python-sdk