【元宇宙之約】戴爾中國研究院首席科學家李三平:通用大模型不是戴爾的首選
原創(chuàng)
2023-06-01 14:54 星期四
財聯(lián)社記者 徐賜豪
①現(xiàn)在越來越多公司創(chuàng)建大模型,李三平認為能否成功的關鍵是“是否擁有構造高質量數(shù)據(jù)集的能力”。
②戴爾對自己的定位是核心基礎架構公司,通用大模型不是戴爾的首選,而是打造支撐數(shù)據(jù)密集、計算密集型人工智能應用的高性能算力平臺,同時基于企業(yè)內(nèi)部的知識庫打造面向業(yè)務的語言模型。

財聯(lián)社6月1日訊(記者 徐賜豪) ChatGPT問世后,各大公司爭相開發(fā)大模型,但作為老牌科技公司的戴爾似乎沒有太多動靜。

本期《元宇宙之約》對話了戴爾科技集團中國研究院首席科學家李三平。據(jù)李三平透露,戴爾對自己的定位是核心基礎架構公司,通用大模型不是戴爾的首選,而是打造支撐數(shù)據(jù)密集、計算密集型人工智能應用的高性能算力平臺,同時基于企業(yè)內(nèi)部的知識庫打造面向業(yè)務的語言模型。

現(xiàn)在越來越多公司創(chuàng)建大模型,李三平認為能否成功的關鍵是“是否擁有構造高質量數(shù)據(jù)集的能力”。

大模型越來越強大后能否從技術的角度來規(guī)范管理大模型?李三平表示,技術算法上可以用強化學習讓大模型與人類對齊。

image

通用大模型不是戴爾的首選

目前還沒有看到戴爾發(fā)布自己的大模型,據(jù)您了解戴爾在大模型上持什么態(tài)度?

李三平:戴爾對自己的定位就是核心基礎架構公司。其實,我們有做大語言模型方面的研發(fā)工作:一是提供計算平臺來支撐大語言模型;二是戴爾會把機器學習或者人工智能技術用在自己的產(chǎn)品、服務和內(nèi)部工作流程當中,比如用于優(yōu)化產(chǎn)品性能或者優(yōu)化客戶服務。

戴爾有像其他科技公司一樣開發(fā)通用大模型的計劃嗎?

李三平:現(xiàn)在大家都關注的通用大模型肯定不是戴爾的首選,像我們正在做的還是結合企業(yè)內(nèi)部自己的知識庫打造面向自己業(yè)務的語言模型。

ChatGPT的成功,對您會有什么啟發(fā)?

李三平:概率這種數(shù)學工具其實是對物理世界的一種近似表達或者近似建模。因為我們不可能獲得對整個物理世界的完整信息,所以基于我們所獲得的局部信息來進行一種近似建模。

現(xiàn)在語言模型利用這樣的一些數(shù)學方法也能在自然語言理解上表現(xiàn)超出普通人的能力。說明概率建模能力超出了我們之前對它的理解。

也就是說,通過單純計算的方式我們也有能力表達對物理世界的理解。所以說語言模型就是一種智能發(fā)展形式。

高質量的數(shù)據(jù)集是構建好大模型的基礎

有人將互聯(lián)網(wǎng)、智能手機以及ChatGPT視作三次技術浪潮,怎么判斷大模型是真正的技術浪潮而不是偽浪潮?

李三平:現(xiàn)在還不太好判斷大模型是真的浪潮還是假的浪潮,畢竟它是一個新興技術,初期大家肯定是對它期許特別高,媒體或者市場肯定會有過度炒作。我們其實要關心的是,這一輪泡沫之后,這個技術還剩下多少,是不是還在繼續(xù)扎扎實實的前進,還是說消失了。所以,我們需要時間來判斷真?zhèn)巍?/p>

其實就像之前的互聯(lián)網(wǎng)、智能手機,也是經(jīng)過了若干年的發(fā)展,逐漸成熟到大家接受的技術突破。甚至人們慢慢的就會認為,這是理所當然的,不再把它們認為是一種新興技術。這個時候也意味著,這個技術已經(jīng)完全成熟進入到了我們的工作和生活中。

現(xiàn)在對大語言模型來說,它也需要這樣一個發(fā)展過程。

ChatGPT引發(fā)了新一輪的科技互聯(lián)網(wǎng)競賽,哪些是真正的在做事,哪些是炒作呢?

李三平:從技術方向來說,目前大模型大家都在探索當中。說難聽一點,大部分技術探索最后探索著也就沒了。因為那個方向可能并不具備什么實際的意義或者這個問題本身并沒有那么大的價值。

國內(nèi)現(xiàn)在很多的科技公司宣稱要做大模型,但根本閉口不談實實在在的細節(jié)問題,而只說我把大模型做到多好,確實有炒作嫌疑。

數(shù)據(jù)的數(shù)量現(xiàn)在不是一個特別難的問題,因為在互聯(lián)網(wǎng)環(huán)境下,我們能搜集到非常多語料,而且也有很多機構一直主動構建各種各樣的語料庫。但數(shù)據(jù)質量始終是一個難題。

我們?nèi)绾瓮ㄟ^技術方法獲得高質量的數(shù)據(jù)集,這是最根本的基礎。如果沒有這個就不可能做出高性能的大語言模型。

數(shù)據(jù)質量這個事情可能創(chuàng)新的東西不會太多,更多的是工程性的投入,你要是沒有足夠時間和人力投入,確實很難去解決。

與人類對齊訓練讓大模型符合人的預期

ChatGPT出現(xiàn)后,很多知名企業(yè)家、人工智能領域的專家都說這是一場變革,您覺得它的出現(xiàn)對人工智能產(chǎn)業(yè)意味著什么?

李三平:大家都普遍認同的一個觀點是,ChatGPT它屬于一種人機交互方式的變革,或者說人與技術交互方式的變革。

直接影響改變的是人類獲取信息的方式,給我們提供了能夠快速獲取跨領域知識的能力。那么我們個體能走多快、能走多遠,還是取決于自己的學習能力。

我覺得從技術角度來說,ChatGPT肯定會鼓勵整個社區(qū)繼續(xù)沿著大模型的路徑,就是利用大規(guī)模算法、基于海量的多元化數(shù)據(jù),然后通過機器自我學習的方式從數(shù)據(jù)中挖掘有價值的信息,從而產(chǎn)生更大的智能涌現(xiàn)。

未來的話存在更多不確定性。但是我們?nèi)绻刂@種大模型路徑繼續(xù)往前走,模型的性能越來越強隨即而來的就是對人工智能的監(jiān)管。因為大模型的能力會引起很多擔憂,說明這種技術本身確實有實力去造出更強大的東西,有可能被用來做好事情,也有可能被用來做不好的事情。

這種擔憂我們是否能從技術角度去規(guī)范它,讓GPT或者聊天機器人能符合人類的預期,避免失控?

李三平:大語言模型對語言的理解能力甚至可以超越人類,那么我們怎么能讓它表述的答案符合人類的一些價值觀,其實從技術的角度有一個專有名詞——與人類對齊,就是說去對齊人類的價值觀。

大語言模型有時候會生成一些人類根本不會使用的表達方式,并不符合我們的一個期望。其實,OpenAI花了非常多人力和時間在做和人類對齊、和人類的期望對齊的事情。

技術算法上的解決方法就是強化學習,讓模型去主動構建很多人類期望的表達方式。比如設置一些問題,讓人類回答,也讓模型回答,最后人類來評分,讓大模型去強化學習那些評分高的答案,去學習人類的表達標準??赡苷Z言模型仍然會產(chǎn)生很多答案,我們可以用強化學習過濾掉那些不符合人類期望的答案。

收藏
68.12W
我要評論
歡迎您發(fā)表有價值的評論,發(fā)布廣告和不和諧的評論都將會被刪除,您的賬號將禁止評論。
發(fā)表評論
要聞
股市
關聯(lián)話題
1.14W 人關注
1.36W 人關注
4.22W 人關注
1.3W 人關注