財(cái)聯(lián)社9月28日訊（記者 付靜）“可能在短期或中短期內(nèi)，市場(chǎng)焦點(diǎn)會(huì)集中在一些大型通用模型上，然而對(duì)于AI來說，更廣闊的應(yīng)用空間實(shí)際上是在推理場(chǎng)景中?！苯照匍_的英特爾?至強(qiáng)?6性能核處理器發(fā)布會(huì)后，英特爾市場(chǎng)營(yíng)銷集團(tuán)副總裁、中國(guó)區(qū)云與行業(yè)解決方案和數(shù)據(jù)中心銷售部總經(jīng)理梁雅莉在接受財(cái)聯(lián)社記者采訪時(shí)表示。

據(jù)財(cái)聯(lián)社記者多方采訪梳理獲悉，當(dāng)前國(guó)內(nèi)大模型廠商算力成本至少七成仍用于訓(xùn)練端，而未來推理將成“大模型下半場(chǎng)”。海內(nèi)外眾多廠商均已盯上推理算力的蛋糕，芯片巨頭英特爾服務(wù)器CPU至強(qiáng)（Xeon）系列重量級(jí)新品亦瞄準(zhǔn)推理市場(chǎng)需求，直接帶動(dòng)多家服務(wù)器廠商新品于今年9月起至明年一季度密集面市，國(guó)內(nèi)數(shù)據(jù)中心預(yù)期步入新發(fā)展階段。

推理算力需求或達(dá)訓(xùn)練10倍 供給端緊盯蛋糕

“實(shí)際上，在AI技術(shù)的實(shí)際應(yīng)用落地過程中，用戶感受最直觀、最強(qiáng)烈的往往是推理環(huán)節(jié)的性能表現(xiàn)。雖然過去我們一直在強(qiáng)調(diào)大模型訓(xùn)練的重要性，但真正到了企業(yè)應(yīng)用層面，推理的需求規(guī)模往往是訓(xùn)練需求的5-10倍?！闭驹谕评硭懔π枨笠暯?，紫光股份（000938.SZ）旗下新華三集團(tuán)計(jì)算存儲(chǔ)產(chǎn)品線副總裁劉宏程向財(cái)聯(lián)社記者表示。

他進(jìn)一步告訴財(cái)聯(lián)社記者，通用模型應(yīng)用于具體行業(yè)時(shí)，往往需要結(jié)合企業(yè)數(shù)據(jù)進(jìn)行私有化微調(diào)與推理?！巴ㄓ么竽Ｐ偷耐度氤杀具^高，很多企業(yè)難以承擔(dān)，而且投入與產(chǎn)出的時(shí)間比也較長(zhǎng)。因此，企業(yè)更傾向于在通用模型的基礎(chǔ)上進(jìn)行微調(diào)，以滿足自身特定需求，并通過推理來實(shí)現(xiàn)應(yīng)用落地?！?/p>

財(cái)聯(lián)社記者采訪了解到，眾多從業(yè)者認(rèn)為算力需求將持續(xù)增長(zhǎng)，對(duì)行業(yè)發(fā)展前景持樂觀態(tài)度。

“我們認(rèn)為能夠在‘百模大戰(zhàn)’競(jìng)爭(zhēng)中生存下來的通用大模型數(shù)量將非常有限，可能不會(huì)超過一只手能數(shù)得過來的數(shù)量。某些參與者可能會(huì)面臨巨大挑戰(zhàn)，甚至被市場(chǎng)淘汰。但從整個(gè)市場(chǎng)的角度來看，訓(xùn)練規(guī)模的需求仍然非常龐大。此外，當(dāng)所有的通用模型和私域模型都達(dá)到可用并準(zhǔn)備變現(xiàn)的階段時(shí)，我們預(yù)測(cè)將會(huì)有一個(gè)規(guī)模達(dá)到訓(xùn)練市場(chǎng)5到10倍的推理市場(chǎng)等待著我們。算力投入預(yù)計(jì)將在未來5-10年內(nèi)保持高速增長(zhǎng)?！眲⒑瓿谭Q。

站在供給視角，據(jù)財(cái)聯(lián)社記者觀察，國(guó)內(nèi)炙手可熱的華為、近期因啟動(dòng)IPO頗受關(guān)注的GPU獨(dú)角獸燧原科技、壁仞科技、海外的AMD、Cerebras Systems、FuriosaAI等眾多芯片廠商紛紛加碼AI推理競(jìng)賽。與此同時(shí)，Meta、微軟、OpenAI等廠商亦透露親自下場(chǎng)做推理芯片的計(jì)劃，其中Meta上半年已正式發(fā)布MTIA v2芯片。

財(cái)聯(lián)社記者問及英特爾如何看待推理算力供給側(cè)的蓬勃趨勢(shì)，梁雅莉稱，前述廠商親自開發(fā)推理芯片，“一方面是因?yàn)樾枨笸?，另一方面也是為了尋找價(jià)值和性能之間的平衡。”

她認(rèn)為，推理算力需求下，硬件架構(gòu)和性能固然重要，更重要的是軟件的優(yōu)化和整體系統(tǒng)的設(shè)計(jì)。軟件層面，比如深度學(xué)習(xí)框架需要不斷優(yōu)化；整體系統(tǒng)設(shè)計(jì)層面，無(wú)論CPU、GPU甚至FPGA，最重要的是如何與產(chǎn)業(yè)的每一個(gè)具體場(chǎng)景深度融合。

CPU可用于10B模型推理 推動(dòng)服務(wù)器革新

英特爾最新至強(qiáng)6性能核處理器（代號(hào)Granite Rapids）的發(fā)布，使得AI推理算力賽道迎來更強(qiáng)勁的CPU選手。

據(jù)悉，至強(qiáng)6性能核采用分離式模塊化設(shè)計(jì)，包括Intel 3工藝的計(jì)算模塊、Intel 7工藝的I/O模塊；最高配備128個(gè)X86內(nèi)核，支持高達(dá)每秒6400MT的DDR5內(nèi)存、每秒8800MT的MRDIMM內(nèi)存、6條UPI 2.0鏈路（速率達(dá)每秒24 GT），96條PCIe 5.0或64條CXL 2.0通道、504MB的L3緩存。

英特爾至強(qiáng)6能效核處理器（代號(hào)Sierra Forest）曾于今年6月推出，針對(duì)高核心密度和規(guī)模擴(kuò)展任務(wù)所需的高效能優(yōu)化，而性能核處理器則面向計(jì)算密集型和AI工作負(fù)載所需的高性能進(jìn)行優(yōu)化。

公開資料顯示，至強(qiáng)是英特爾為與普通個(gè)人電腦市場(chǎng)作區(qū)分研制推出的服務(wù)器CPU品牌，該產(chǎn)品線面向中高端企業(yè)級(jí)服務(wù)器、工作站市場(chǎng)。英特爾數(shù)據(jù)中心與人工智能集團(tuán)副總裁兼中國(guó)區(qū)總經(jīng)理陳葆立透露，現(xiàn)有AI服務(wù)器中大部分機(jī)頭CPU仍是英特爾CPU?；谟⑻貭枴八哪晡鍌€(gè)制程節(jié)點(diǎn)”戰(zhàn)略，2024年至強(qiáng)6系列采用了Intel 3制程工藝。

據(jù)悉，自第四代至強(qiáng)起，英特爾針對(duì)AI加速推出專屬指令集“英特爾?高級(jí)矩陣擴(kuò)展（下稱AMX）”，使得CPU能夠支持市面常見大模型的推理計(jì)算，第四代、第五代至強(qiáng)可以用于處理6B、7B甚至13B的模型，正被業(yè)內(nèi)大量使用中。而在第六代至強(qiáng)中，AMX亦做出升級(jí)。

財(cái)聯(lián)社記者于發(fā)布會(huì)現(xiàn)場(chǎng)獲悉，從實(shí)際推理表現(xiàn)看，針對(duì)70億參數(shù)的Llama2大模型推理，至強(qiáng)6性能核相比第五代至強(qiáng)單顆CPU性能和每瓦特性能分別有3.08倍、2.16倍提升；針對(duì)80億參數(shù)的Llama3，則分別有2.40倍、1.68倍提升。

（受訪者供圖）

“2年前，一個(gè)主流服務(wù)器搭配的至強(qiáng)處理器應(yīng)該是24-48核。相比上一代，至強(qiáng)6性能核性能裝備從64核到128核，單核性能提升1.2倍。”陳葆立在發(fā)布會(huì)上稱。

據(jù)財(cái)聯(lián)社記者觀察，除了CPU內(nèi)核數(shù)及整體性能提升，在GPU用于AI推理被視作主流的當(dāng)下，這款CPU加碼推理的意義更在于帶動(dòng)國(guó)內(nèi)數(shù)據(jù)中心步入新發(fā)展階段。

劉宏程認(rèn)為，融合架構(gòu)相比單一GPU服務(wù)器更符合企業(yè)私有化微調(diào)、推理的需求。“因?yàn)閷?duì)于私域小規(guī)模的訓(xùn)練和推理任務(wù)來說，融合架構(gòu)的投資回報(bào)率更高，能更有效地利用資源。”

梁雅莉亦告訴財(cái)聯(lián)社記者，“未來的市場(chǎng)環(huán)境下，性能和成本必須做平衡考慮。尤其是對(duì)于推理場(chǎng)景，只追求性能是欠妥的，企業(yè)最終要平衡的是在這樣一個(gè)場(chǎng)景下耗費(fèi)的算力成本是多少，以及它如何轉(zhuǎn)化為企業(yè)的商業(yè)價(jià)值，最終大家都需要進(jìn)行成本效益分析。”

財(cái)聯(lián)社記者注意到，由于生成式AI算力需求持續(xù)增長(zhǎng)，在本月受業(yè)內(nèi)關(guān)注的兩大互聯(lián)網(wǎng)巨頭的“主場(chǎng)”2024騰訊全球數(shù)字生態(tài)大會(huì)、2024云棲大會(huì)上，圍繞英特爾至強(qiáng)6性能核的討論聲就已逐漸增多。

而OEM廠商方面，超聚變服務(wù)器產(chǎn)品總經(jīng)理朱勇對(duì)財(cái)聯(lián)社在內(nèi)的媒體表示，基于通用場(chǎng)景的CPU推理可實(shí)現(xiàn)“一芯多用”：“現(xiàn)在CPU已經(jīng)發(fā)展到可以去做一些10Billion左右的大模型推理場(chǎng)景，這為客戶帶來的優(yōu)勢(shì)是能夠降低TCO?！?/p>

“過去我們常常區(qū)分通用服務(wù)器和GPU服務(wù)器，但在這一代至強(qiáng)6服務(wù)器上，我們實(shí)現(xiàn)了一個(gè)融合基礎(chǔ)設(shè)施，即能夠同時(shí)兼顧通用計(jì)算和GPU加速的需求。這種融合將加速各行業(yè)對(duì)新技術(shù)應(yīng)用的推動(dòng)，因?yàn)橛脩舨辉傩枰诓煌愋偷姆?wù)器之間做出選擇，而是可以更加靈活地應(yīng)對(duì)多樣化的計(jì)算需求?！眲⒑瓿谭Q。

此外財(cái)聯(lián)社記者獲悉，浪潮信息（000977.SZ）、超聚變、新華三、中興通訊（000063.SZ）、聯(lián)想等廠商基于英特爾至強(qiáng)6性能核處理器的服務(wù)器新品將陸續(xù)面市。