①Meta發(fā)布開源大模型Llama 3.1,這是Meta目前為止規(guī)模最大的大語言模型,性能對標GPT-4o和Claude3.5; ②大模型開源和閉源優(yōu)劣比較時有發(fā)生,隨著Llama 3.1發(fā)布,二者獲或迎來新一輪激斗; ③英偉達同期推出組合服務(wù),為Llama 3.1助攻。
《科創(chuàng)板日報》7月24日訊(記者 張洋洋) 扎克伯格將大模型開源進行到底。
今天凌晨,Meta正式發(fā)布新一代開源大模型Llama 3.1系列,其中包含8B、70B 和405B三個版本,最大上下文提升到了128k。
Meta創(chuàng)始人扎克伯格同時在官網(wǎng)發(fā)文為自家模型強力代言。他稱,當今大多數(shù)領(lǐng)先的科技公司和科學(xué)研究都是建立在開源軟件之上,開源是AI前進的方向,Meta正朝著成為開源AI行業(yè)標準的目標邁進。
需要強調(diào)的是,在科技界,關(guān)于開源和閉源的爭端由來已久。批評者認為開源掩蓋了技術(shù)原創(chuàng)性缺失,只是對開源模型簡單調(diào)整,而非實質(zhì)創(chuàng)新。百度創(chuàng)始人李彥宏甚至表示開源大模型在學(xué)術(shù)研究、教學(xué)領(lǐng)域等特定場景下有存在的價值,但并不適用于大多數(shù)應(yīng)用場景。支持者則認為,基于成熟開源架構(gòu)進行定制化改進是技術(shù)發(fā)展的常態(tài),它能推動技術(shù)的快速創(chuàng)新和進步。
在大模型領(lǐng)域,開源和閉源大模型優(yōu)劣比較也時有發(fā)生。到目前為止,開源模型在功能和性能方面大多落后于封閉式模型。但隨著Llama 3.1的發(fā)布,大模型開源和閉源或?qū)⒂瓉硇乱惠喖ざ贰?/p>
根據(jù)Meta提供的基準測試數(shù)據(jù),Llama 3.1有4050億參數(shù),是近年來規(guī)模最大的大語言模型之一。該模型基于15萬億個Tokens、超1.6萬個H100 GPU上進行訓(xùn)練,這也是Meta有史以?第來?一個以這?規(guī)種?模進?訓(xùn)行?練的Llama模型。Meta稱,在常識、可操縱性、數(shù)學(xué)、工具使用和多語言翻譯等先進功能方面,Llama 3.1足以對標GPT-4o和Claude3.5Sonnet等頂級閉源大模型。
Llama 3.1現(xiàn)已于Meta官網(wǎng)和Hugging Face開放下載。最新數(shù)據(jù)顯示,所有Llama版本的總下載量已超過3億次。
就在當天同一時間,英偉達也推出組合訓(xùn)練服務(wù),為Llama 3.1強勢助攻。
《科創(chuàng)板日報》記者從英偉達方面了解到,英偉達正式推出全新的NVIDIA AI Foundry 服務(wù)和NVIDIA NIM?推理微服務(wù)。NVIDIA AI Foundry 是由 NVIDIA DGX? Cloud AI平臺驅(qū)動,該平臺由NVIDIA與公有云共同設(shè)計,可為企業(yè)提供大量的算力資源。
NVIDIA AI Foundry 、NVIDIA NIM?配套Llama 3.1系列開源模型一起使用,企業(yè)可以為其特定領(lǐng)域的行業(yè)用例創(chuàng)建自定義“超級模型”。企業(yè)還可以使用自有數(shù)據(jù)以及由Llama 3.1 405B和NVIDIA Nemotron? Reward模型生成的合成數(shù)據(jù),來訓(xùn)練這些超級模型。
英偉達創(chuàng)始人兼首席執(zhí)行官黃仁勛則表示,Meta 的 Llama 3.1開源模型標志著全球企業(yè)采用生成式AI的關(guān)鍵時刻已經(jīng)到來。Llama 3.1 將掀起各個企業(yè)與行業(yè)創(chuàng)建先進生成式AI應(yīng)用的浪潮。NVIDIA AI Foundry已經(jīng)在整個過程中集成了Llama 3.1,并能夠幫助企業(yè)構(gòu)建和部署自定義Llama超級模型。