中國聯(lián)通:針對(duì)DeepSeek系列模型進(jìn)行了優(yōu)化升級(jí) 平均節(jié)省30%推理計(jì)算量
2025-02-26 08:51 星期三
財(cái)聯(lián)社
①中國聯(lián)通宣布對(duì)DeepSeek系列模型進(jìn)行“自適應(yīng)慢思考”優(yōu)化升級(jí),平均節(jié)省約30%推理計(jì)算量,并已開源,為業(yè)界首次;
②具體改造包括難度自適應(yīng)微調(diào)、二次蒸餾和難度自適應(yīng)強(qiáng)化學(xué)習(xí),以減少冗余輸出和資源消耗。

財(cái)聯(lián)社2月26日訊,中國聯(lián)通近日宣布,繼1月開源元景“自適應(yīng)慢思考”思維鏈大模型后,又針對(duì)DeepSeek系列模型進(jìn)行了“自適應(yīng)慢思考”優(yōu)化升級(jí),平均可節(jié)省約30%的推理計(jì)算量,現(xiàn)已開源。這也是目前業(yè)界首個(gè)對(duì)DeepSeek系列思維鏈模型做“自適應(yīng)慢思考”優(yōu)化升級(jí)的工作。

“以我為主,為我所用”的開放創(chuàng)新

元景思維鏈大模型具備多學(xué)科、多場景通用推理能力,且能在確保慢思考能力不打折的情況下,做到針對(duì)不同任務(wù)和難度的自適應(yīng)慢思考,大幅降低了資源消耗,實(shí)現(xiàn)了大模型“慢思考”能力高性價(jià)比落地應(yīng)用。

元景思維鏈大模型接入DeepSeek-R1并非簡單的“拿來主義”,而是“從其善,優(yōu)其不善”,對(duì)DeepSeek-R1版本進(jìn)行了調(diào)整,最大程度規(guī)避了其面對(duì)簡單問題“過度思考”的現(xiàn)象,使模型具備了“自適應(yīng)”能力。即在面向難度較高問題時(shí)使用慢思考模式生成長思維鏈,面向簡單問題時(shí)則傾向于生成簡潔的思維鏈,迅速準(zhǔn)確的輸出相關(guān)答案。這樣避免了答案的冗余、資源的浪費(fèi)以及減少用戶等待時(shí)間,提升用戶體驗(yàn)。

調(diào)整步驟完整分享

難度自適應(yīng)微調(diào):為實(shí)現(xiàn)模型推理的難度自適應(yīng),中國聯(lián)通利用DeepSeek-R1滿血版模型采樣生成數(shù)據(jù),通過復(fù)雜度量化模塊構(gòu)造長度偏好數(shù)據(jù)集,對(duì)于簡單問題從采樣答案中挑選長度較短的答案,對(duì)困難問題挑選長度較長的答案,使得答案長度與當(dāng)前問題復(fù)雜度相匹配。在此基礎(chǔ)上對(duì)DeepSeek-R1進(jìn)行微調(diào),使得微調(diào)后的模型具備對(duì)不同難度題目的自適應(yīng)慢思考能力。

image

具體改造流程如下圖所示。 自適應(yīng)慢思考的DeepSeek-R1滿血版模型訓(xùn)練流程圖

二次蒸餾:針對(duì)DeepSeek-R1的系列蒸餾模型,由于其使用的蒸餾數(shù)據(jù)來自訓(xùn)練滿血版R1時(shí)使用的訓(xùn)練數(shù)據(jù),而非由性能更好的R1滿血版自身生成的數(shù)據(jù),這會(huì)導(dǎo)致得到的蒸餾模型未能充分學(xué)習(xí)R1滿血版的能力,蒸餾效果大打折扣。為解決這個(gè)問題,中國聯(lián)通使用了二次蒸餾的策略,即利用DeepSeek-R1滿血版將已積累的高質(zhì)量數(shù)據(jù)轉(zhuǎn)化為包括深度思考過程的長思維鏈格式數(shù)據(jù),在DeepSeek-R1蒸餾系列模型基礎(chǔ)上再進(jìn)行一次微調(diào),使模型具備更強(qiáng)的推理能力。

難度自適應(yīng)強(qiáng)化學(xué)習(xí):在對(duì)模型進(jìn)行二次蒸餾后,中國聯(lián)通進(jìn)一步借鑒DeepSeek-R1的構(gòu)建思路,在GRPO算法基礎(chǔ)上提出了一種難度自適應(yīng)強(qiáng)化學(xué)習(xí)算法DA-GRPO(Difficulty Adaptive GRPO),對(duì)二次蒸餾模型進(jìn)行難度自適應(yīng)的強(qiáng)化學(xué)習(xí)訓(xùn)練,進(jìn)一步提升其推理效果。除了使用傳統(tǒng)的基于規(guī)則的正確性獎(jiǎng)勵(lì)、格式獎(jiǎng)勵(lì)、語言一致性獎(jiǎng)勵(lì)外,DA-GRPO還基于每個(gè)問題的復(fù)雜程度和生成答案的長度對(duì)獎(jiǎng)勵(lì)得分進(jìn)行校準(zhǔn)。具體而言,如果模型對(duì)一個(gè)簡單問題輸出較長的答案,則對(duì)獎(jiǎng)勵(lì)分?jǐn)?shù)進(jìn)行相應(yīng)的懲罰。同時(shí),若模型對(duì)困難的問題輸出較長的答案,則給予其更高的獎(jiǎng)勵(lì)分?jǐn)?shù),以鼓勵(lì)其進(jìn)行更充分的思考。這樣,通過提高樣本答案獎(jiǎng)勵(lì)得分的區(qū)分度,使模型具備根據(jù)問題難度輸出相應(yīng)長度答案的能力,在保證推理準(zhǔn)確率的前提下顯著減少了答案冗余和資源消耗,從而實(shí)現(xiàn)對(duì)不同難度問題的自適應(yīng)慢思考。

image

自適應(yīng)慢思考的DeepSeek-R1蒸餾版模型訓(xùn)練流程圖

推理計(jì)算量節(jié)省約30%

中國聯(lián)通以DeepSeek-R1-distill-32B模型為例,對(duì)上述方法的效果進(jìn)行了驗(yàn)證。通過在數(shù)學(xué)任務(wù)測評(píng)集(MATH500)上對(duì)比以及具體實(shí)驗(yàn)可以看到,經(jīng)過難度自適應(yīng)改造后的模型在不同難度等級(jí)問題上生成的回答長度較原版均明顯下降,并且對(duì)于最高難度(Level 5)輸出的回答長度降幅最大,體現(xiàn)了模型對(duì)不同難度等級(jí)問題具備自適應(yīng)慢思考能力。經(jīng)過測評(píng),這種創(chuàng)新的自適應(yīng)慢思考方法,平均可節(jié)省約30%的推理計(jì)算量,冗余輸出大幅減少,用戶體驗(yàn)得到有效提升。

image

回答長度對(duì)比:原版DeepSeek-R1-distill-32B(淺藍(lán))vs自適應(yīng)版(深藍(lán))

收藏
95.31W
我要評(píng)論
歡迎您發(fā)表有價(jià)值的評(píng)論,發(fā)布廣告和不和諧的評(píng)論都將會(huì)被刪除,您的賬號(hào)將禁止評(píng)論。
發(fā)表評(píng)論
要聞
股市
關(guān)聯(lián)話題
4.98W 人關(guān)注
1.23W 人關(guān)注