《科創(chuàng)板日報》7月9日訊（記者 黃心怡）京東即將于7月13日推出言犀大模型。在2023世界人工智能大會（WAIC 2023）上，京東探索研究院院長、京東科技智能服務和產(chǎn)品部總裁何曉冬博士接受了《科創(chuàng)板日報》記者的采訪。他透露，京東大模型聚焦產(chǎn)業(yè)應用，屆時還會展示具身智能方面的進展。

京東探索研究院院長、京東科技智能服務和產(chǎn)品部總裁何曉冬

▍下一步AGI將走向多模態(tài)和具身智能

何曉冬表示，在大語言模型的研發(fā)上，京東更注重的是對話方向，也在積極推進多模態(tài)模型的研發(fā)?！芭c通用語言模型不同，對話有一定博弈和對抗性的互動。當對方說了一句話，光理解意圖并不夠，還需要知道怎么回答他，要進行牽引。因為他的意圖可能只是一個表達，要牽引到最后能達到共識的結(jié)論、解決方案上。大模型幫助我們更好地獲取背景知識和上下文知識，更好地做對話決策?！?/p>

除了通用性的數(shù)據(jù)，京東還將零售、金融、健康、物流等廣泛專業(yè)領域的產(chǎn)業(yè)數(shù)據(jù)也融合到基座模型進行訓練?！澳撤N意義上，我們相當于既做了通識教育，又讀了四年專業(yè)性的本科教育。”

除了大語言模型，何曉冬稱，京東也在語音、視覺等多模態(tài)模型上進行了研發(fā)。

“我們在語音識別方面的模型做得非常大，用了十萬小時級別的數(shù)據(jù)去訓練語音模型。在視覺模型上也做了很多，包括視覺的圖象生成、數(shù)字人形象的生成和合成等。”相關技術已運用到政務熱線、數(shù)字人直播、智能客服、AI外呼等場景。

此外，何曉冬還透露，7月13日將會展示具身智能方面的探索與進展?！跋駲C械臂、無人車這些京東早就在做了。我們有一個項目，讓智能的機械臂，在實際的物流分揀、搬運當中進行操作?！?/p>

GPT 所表現(xiàn)出的超越以往的通用性，讓人類看到實現(xiàn)通用人工智能（AGI）偉大目標的可能性。何曉冬認為，目前這種通用性仍停留在語言領域，下一步AGI將走向多模態(tài)和具身智能。

“一個方向是多模態(tài)，必須具有視覺能力，可能嗅覺、觸覺是再進一步的，但至少要具有視覺能力。第二是走向具身智能，包括機器人、機械臂、無人車，各種各樣的載具，都可以更智能化起來，讓AGI走到物理世界?！?/p>

▍面向行業(yè)應用的大模型比通用大模型更難做

不少業(yè)內(nèi)分析指出，通用大模型不是模型應用的唯一方向，面向垂直產(chǎn)業(yè)的模型會成為大模型價值的引爆點。對此，何曉冬強調(diào)，面向產(chǎn)業(yè)應用的大模型其實比普通大模型更難做。

“專有模型、垂直行業(yè)模型的訓練成本和難度其實并不低。因為行業(yè)模型并不意味著小模型，也不意味著單獨某一個領域的數(shù)據(jù)，而是通用公域數(shù)據(jù)加上行業(yè)數(shù)據(jù)一起，構成了產(chǎn)業(yè)大模型的訓練數(shù)據(jù)來源。”

這是由于，如果只用行業(yè)數(shù)據(jù)訓練，會導致人機交互能力的不足。產(chǎn)業(yè)模型也需要有足夠的基礎常識作為背景，才能真正提供較高的溝通交流體驗。

“人在跟機器打交道，哪怕是客服這種服務時，也會說一些操作領域之外的話。比如你想退換貨時，可能會突然想起來，今天不在家，明天才能來取貨。這種常識性的東西，是以前小模型難以應對的。小模型在專有領域做得很好，但用戶突然說一句跟專有領域無關的話，小模型就迷茫了?！?/p>

而把產(chǎn)業(yè)數(shù)據(jù)和通用數(shù)據(jù)融合在一起，就能讓基礎模型本身有更多的產(chǎn)業(yè)理解。

“我們并非先把通用數(shù)據(jù)訓一個基礎模型，然后再用專用數(shù)據(jù)微調(diào)。而是一開始訓基礎模型的時候，就讓通用數(shù)據(jù)和專用數(shù)據(jù)、產(chǎn)業(yè)數(shù)據(jù)，全部均勻地放在一起，只是采樣的權重不一樣。因為我們希望模型不要產(chǎn)生所謂的遺忘，如果是完全割裂的兩個階段，會導致在吸收行業(yè)數(shù)據(jù)知識的時候，可能會把一些常識沖淡。”

▍把大模型落到產(chǎn)業(yè)上才能真正發(fā)揮價值

如何降低大模型使用門檻，讓大模型真正在行業(yè)里用起來，是當下企業(yè)用戶和大模型提供商關注的焦點。

“當進入產(chǎn)業(yè)的時候，更多的攔路虎是在更加微妙的細節(jié)上，這些細節(jié)往往決定了最后產(chǎn)品的價值，或者是用戶的體驗。現(xiàn)在大家有點冷靜下來，更多從價值的角度，而不是從暢想未來的角度來看這個技術?！?/p>

何曉冬分析，AI技術不應該只是純粹的學術推動，而需要從行業(yè)中凝練出需求。

“今年下半年，大家可能更關心行業(yè)價值如何呈現(xiàn)。雖然做高考題也很有意思，但最終的行業(yè)價值肯定不會產(chǎn)生在做高考題上。當大家樂觀的時候，可能會忽視當初看起來還不起眼的，但實際上是攔路虎的問題。當把大模型真正落到產(chǎn)業(yè)上的時候，就一個個浮現(xiàn)出來了，需要解決這些問題才能真正用起來?！?/p>

談及國內(nèi)外大模型的差距，何曉冬判斷，并沒有想象中那么大。“算法其實是整個技術社區(qū)一起發(fā)明的，每一個算法都建立在其他人的基礎之上，其中也有很多中國人的貢獻。我覺得算法一旦發(fā)表之后，是屬于全人類的科學。值得關注的反而是一些細節(jié)，從Transformer到GPT，中間還是走過了一段路，怎樣組成這樣的團隊，里面各種各樣技能的人都得有。這樣才能把這個事情做起來，而且還得有足夠的冒險精神?！?/p>