一.虛擬現(xiàn)實的基石

英偉達Omniverse本質(zhì)是英偉達專為實時協(xié)作和仿真模擬打造的一站式工具集成平臺。據(jù)英偉達產(chǎn)品介紹、e-works，Omniverse的前身來源于NVIDIA Holodeck（VR協(xié)同設(shè)計平臺），后續(xù)在客戶創(chuàng)建數(shù)字孿生的過程中，越來越意識到這是一個融合多技術(shù)、多學科的復(fù)雜工程，小到一個零件，大到一座工廠、一座城市，不同物理實體的數(shù)字孿生應(yīng)用重點差別很大；對此，NVIDIA將自身所擅長的GPU數(shù)據(jù)處理、CUDA運算、實時光線追蹤RTX技術(shù)等軟硬件能力，以及長期深耕的圖形、AI、仿真生態(tài)系統(tǒng)經(jīng)驗進行集中，以更高效和兼容的方式推出了Omniverse平臺，從而解決現(xiàn)實世界與數(shù)字世界映射過程中的各項痛點，如各種數(shù)字工具的協(xié)同，高效逼真的渲染仿真等。

圖：Omniverse早期發(fā)展歷程

資料來源：英偉達產(chǎn)品介紹，民生證券研究院

英偉達Omniverse發(fā)布之初便搭建了以USD通用數(shù)據(jù)格式+五大功能模塊的平臺框架。據(jù)據(jù)英偉達產(chǎn)品介紹、OpenUSD信息速遞，Omniverse 平臺最初創(chuàng)建目的是將Sketch UP、Rhino、3DS Max等各類DCC軟件打通融合（如BIM 軟件中的資產(chǎn)即使能夠轉(zhuǎn)換成 Rhino 能夠識別的三維模型，但依然會丟失建筑構(gòu)件的大量的信息），Omniverse選擇使用USD格式數(shù)字資產(chǎn)作為平臺的數(shù)據(jù)格式，搭配五大功能模塊實現(xiàn)融合：Nucleus 負責管理協(xié)作、Connect 負責聯(lián)通第三方的DCC軟件、Kit是用于構(gòu)建原生Omniverse應(yīng)用程序和微服務(wù)的工具包、Simulation負責物理仿真、RTX Renderer 負責實時渲染等。

圖：Omniverse五大功能模塊

資料來源：英偉達產(chǎn)品介紹，民生證券研究院

經(jīng)過多年發(fā)展，當前Omniverse平臺在通用數(shù)據(jù)格式和五大功能模塊為基礎(chǔ)的系統(tǒng)生態(tài)已經(jīng)長足進步，成為虛擬現(xiàn)實的基石。

1.1 OpenUSD

英偉達與行業(yè)巨頭聯(lián)手打造OpenUSD聯(lián)盟，并將Omniverse與USD格式數(shù)據(jù)深度優(yōu)化綁定。英偉達與Pixar、Adobe、Apple、Autodesk等公司成立了非營利組織AOUSD（OpenUSD聯(lián)盟）致力于通過 OpenUSD 促進 3D 內(nèi)容的互操作性，當前USD格式數(shù)據(jù)已經(jīng)可以很好描述3D世界的幾何圖形、材質(zhì)、物理特性和行為表示。Omniverse針對USD數(shù)據(jù)進行深度開發(fā)，包括但不限于：

1）推出材質(zhì)定義語言 (MDL) 可讓開發(fā)者在支持的應(yīng)用之間輕松地共享基于物理性質(zhì)的材質(zhì)；

2）加強USD物理特性仿真能力；

3）使用 Python 3 異步API在Omniverse服務(wù)器和本地文件系統(tǒng)之間安全地加載和保存素材；

4）提供USDView直觀檢查USD場景；

5）例如地理空間坐標、連接 glTF 文件格式、實時程序化、能夠在網(wǎng)絡(luò)瀏覽器中運行，以及實時串流物聯(lián)網(wǎng)數(shù)據(jù)等其他功能

圖：OpenUSD體系

資料來源：英偉達官網(wǎng)，民生證券研究院

1.2 系統(tǒng)生態(tài)不斷完善

英偉達搭建了完善的Omniverse開發(fā)棧，從工作站擴展到云，開發(fā)者能夠以更少的編碼構(gòu)建先進可擴展解決方案。據(jù)英偉達官網(wǎng)，無論是獨立開發(fā)者還是企業(yè)開發(fā)者，都可以輕松構(gòu)建和銷售自己的擴展應(yīng)用，連接器，以及 Omniverse 平臺上的微服務(wù)，如：

1）使用低代碼和無代碼的 Python 或 C++ 開發(fā)語言；

2）利用 NVIDIA 在過去 20 多年中積累的 AI、渲染和模擬技術(shù)，輕松修改或整合超過 500 個預(yù)構(gòu)建的 Omniverse 擴展，并將其添加到您的項目和發(fā)行版中

3）在 Omniverse 平臺上發(fā)布您的應(yīng)用和擴展程序，并通過 Omniverse Exchange Publishing Portal 在 NVIDIA 生態(tài)系統(tǒng)中覆蓋各行各業(yè)的眾多客戶等。

圖：Omniverse完善的開發(fā)棧

資料來源：英偉達官網(wǎng)，民生證券研究院

英偉達持續(xù)推動Omniverse平臺與其工作流的融合，為后續(xù)Omniverse企業(yè)版以及以機器人平臺Isaac Sim為代表的前沿技術(shù)平臺打下堅實基礎(chǔ)。英偉達首先利用OpenUSD打通數(shù)據(jù)孤島，再利用RTX等技術(shù)實現(xiàn)精確的物理模擬能力，最后提供真實世界數(shù)據(jù)和合成數(shù)據(jù)相結(jié)合訓練AI的能力，被全世界的開發(fā)者廣泛使用。憑借完善的服務(wù)流程，各行各業(yè)的客戶紛紛將該Omniverse與自身工作流相結(jié)合，包括AWS、寶馬、索尼等科技巨頭。

圖：Omniverse與其他工作流的協(xié)同

資料來源：英偉達官網(wǎng)，民生證券研究院

二.企業(yè)版解決方案

企業(yè)版Omniverse以PaaS的方式為企業(yè)提供基于 NVIDIA OVX 基礎(chǔ)設(shè)施構(gòu)建的全棧云環(huán)境，以設(shè)計、開發(fā)、部署和管理基于OpenUSD 的 3D 工業(yè)數(shù)字化應(yīng)用程序。英偉達提供完全優(yōu)化的基礎(chǔ)架構(gòu)和開發(fā)平臺，只需訂閱即開即用；還支持Omniverse Cloud API（如Avatar Cloud Engine、ChatUSD、DeepSearch、Picasso和 RunUSD）來加速高級 3D 應(yīng)用程序和開發(fā)；同時還支持使用 NVIDIA 的全球云流媒體基礎(chǔ)設(shè)施為任何 Web 設(shè)備提供高保真、交互式的 3D 體驗。

圖：Omniverse的PaaS服務(wù)

資料來源：英偉達官網(wǎng)，民生證券研究院

2.1 AI和數(shù)據(jù)科學

在AI和數(shù)據(jù)科學領(lǐng)域，開發(fā)者甚至可以利用Omniverse模擬地球上未來會發(fā)生什么，例如如何處理全球變暖以及如何處理氣候變化。英偉達Earth-2項目通過結(jié)合GPU加速計算、深度學習和內(nèi)嵌物理信息的神經(jīng)網(wǎng)絡(luò)的突破以及人工智能超級計算機三大技術(shù)，再加上大量可供學習的觀測和模型數(shù)據(jù)，第一次擁有了構(gòu)建超高分辨率氣候模型的技術(shù)，能夠以光速來預(yù)測未來幾十年的區(qū)域極端天氣變化。

2.2 制造業(yè)

Omniverse共享協(xié)作環(huán)境為制造業(yè)從業(yè)者提供如Slack一樣的云端協(xié)作平臺。以寶馬項目為例，寶馬公司正在內(nèi)部推進NVIDIA Omniverse平臺的使用，以協(xié)調(diào)全球31座工廠的生產(chǎn)，寶馬所需應(yīng)對的挑戰(zhàn)不只是各工廠之間的協(xié)調(diào)，還有如何共享從不同來源導(dǎo)入的數(shù)據(jù)。寶馬員工使用Autodesk Revit、Dassault Systèmes CATIA和數(shù)據(jù)點云等多種不同的軟件工具，通過Omniverse，他們能夠清楚訪問這些來源的數(shù)據(jù)，這與目前必須傳輸不同應(yīng)用數(shù)據(jù)的工廠規(guī)劃技術(shù)形成了鮮明的對比。此外，Omniverse平臺未來還支持用戶能夠在協(xié)作模擬中合并所有相關(guān)數(shù)據(jù)庫的實時數(shù)據(jù)，因此無需重新導(dǎo)入數(shù)據(jù)；以及一位同事可以使用動作捕捉技術(shù)生成虛擬影像，并出現(xiàn)在任何其他工作地點的另一位同事身邊以一起解決問題的新時代協(xié)作模式。

2.3 創(chuàng)意行業(yè)

對于創(chuàng)意行業(yè)，Omniverse能夠提供獨特的功能來應(yīng)對加快迭代速度，并獲得準確的模擬結(jié)果與逼真感等新型挑戰(zhàn)。以立方數(shù)科項目為例，公司在設(shè)計建筑時面臨著諸多挑戰(zhàn)，其中協(xié)作與設(shè)計思想的交流是項目團隊其中較為棘手的問題，如當團隊成員遠程工作并且分散各地時，需要轉(zhuǎn)換和合成來自不同軟件工具、數(shù)據(jù)集和其他項目貢獻者的數(shù)據(jù)，導(dǎo)致問題復(fù)雜度加劇，設(shè)計流程推進緩慢；同時，設(shè)計團隊持續(xù)面臨著在緊張的交付期限所帶來的壓力，因此，對高效協(xié)作、高保真渲染的迭代速度，以及準確模擬和逼真度的期望日益增長。從初始概念設(shè)計、全球協(xié)作，到快速設(shè)計評審、演示，Omniverse 可以改變建筑、工程和施工的每個工作階段。通過 NVIDIA Omniverse 和 Omniverse 提供的相關(guān)組件，如 Omniverse Create 和 Omniverse View，以及 NVIDIA RTX 實時光線追蹤等技術(shù)，立方數(shù)科輕松實現(xiàn)了產(chǎn)業(yè)園項目的建筑設(shè)計方案。

三. Isaac Sim機器人具身智能平臺

英偉達致力于將Omniverse與前沿技術(shù)結(jié)合，打造頂尖的開發(fā)平臺，Isaac Sim機器人平臺便是其中代表者。Isaac Sim機器人平臺充分利用了 Omniverse 平臺強大的仿真技術(shù)，其中包括使用 NVIDIA? PhysX? 5 實現(xiàn)的高級 GPU 物理模擬、具有實時光線和路徑追蹤的照片級真實感，以及對基于物理的渲染的 MDL 材質(zhì)定義支持；提供適用于各種應(yīng)用的模塊化架構(gòu)，包括操作、導(dǎo)航和用于訓練數(shù)據(jù)的合成數(shù)據(jù)生成；開發(fā)者可以通過 Isaac ROS/ROS 2 界面、功能齊全的 Python 腳本以及用于導(dǎo)入機器人和環(huán)境模型的插件輕松地將機器人連接到虛擬世界。

圖：英偉達Isaac Sim機器人平臺技術(shù)框架

資料來源：英偉達官網(wǎng)，民生證券研究院

Isaac Sim平臺為開發(fā)者提供了從機器人仿真開發(fā)、訓練、部署、維護等全流程的數(shù)字孿生平臺。

3.1 機器人仿真開發(fā)

NVIDIA Isaac 平臺由 NVIDIA Isaac Sim 和 NVIDIA Isaac ROS 組成。前者是一個仿真器，為測試機器人算法提供仿真環(huán)境，后者是針對 NVIDIA Jetson 優(yōu)化的硬件加速軟件，其中包含機器學習、計算機視覺和定位算法?；?NVIDIA Isaac 平臺進行 HIL 測試，您可以驗證和優(yōu)化機器人軟件棧的性能，從而獲得更安全、更可靠、更高效的產(chǎn)品。通過使用 Isaac ROS，開發(fā)者可以創(chuàng)建復(fù)雜的機器人應(yīng)用程序，精確地執(zhí)行復(fù)雜的任務(wù)。

圖：英偉達Isaac ROS架構(gòu)

資料來源：英偉達企業(yè)解決方案微信公眾號，民生證券研究院

3.2 機器人訓練環(huán)境搭建

Isaac Sim 利用 Omniverse 內(nèi)置的強大連接器功能，內(nèi)置了對流行產(chǎn)品設(shè)計格式的支持：先進的URDF導(dǎo)入器已在多種機器人型號上進行了測試；CAD 文件可以直接從 Onshape 和 STEP 文件導(dǎo)入，只需最少的后期處理；為了更輕松地將資源添加到不同的環(huán)境，Isaac Sim 支持 Shapenet 導(dǎo)入器，該導(dǎo)入器提供對大量 3D 資源的訪問。

3.3 機器人訓練

訓練機器人需要大量多樣的數(shù)據(jù)集，準備這些數(shù)據(jù)集可能耗時耗錢又危險，甚至在某些極端情況下無法進行。利用 Isaac Sim 的 Omniverse Replicator，開發(fā)者在開發(fā)周期早期階段可以使用合成數(shù)據(jù)可以加速概念驗證或驗證 ML 工作流；在開發(fā)周期的后期階段以使用合成數(shù)據(jù)來增強真實數(shù)據(jù)，從而縮短訓練產(chǎn)品模型的時間。

英偉達發(fā)布Eureka機器人訓練助理，通過生成的獎勵程序（可讓機器人進行試錯學習）在超過 80% 的任務(wù)上優(yōu)于人類專家編寫的程序，這使得機器人的平均性能提高了 50% 以上。Eureka還會利用 Isaac Gym 中的 GPU 加速模擬，Eureka 能夠快速評估大批獎勵候選者的質(zhì)量，從而提高訓練效率；Eureka 隨后會基于訓練結(jié)果匯總關(guān)鍵統(tǒng)計數(shù)據(jù)，并指導(dǎo) LLM 改進其獎勵函數(shù)的生成。通過這種方式，AI 可以自我完善。Eureka 教會了各類機器人，包括四足機器人、雙足機器人、四旋翼機器人、靈巧手、協(xié)作機器人臂等，來完成不同類型的任務(wù)。

3.4 機器人部署

Isaac AMR 是一個可用于打造新一代 AMR 車隊的平臺，包含了從邊緣到云的軟件服務(wù)、計算以及一套參考傳感器和機器人硬件，用于仿真、驗證、部署、優(yōu)化和管理 AMR 車隊，在大型、高動態(tài)、非結(jié)構(gòu)化的環(huán)境中確保先進的測繪、自主和仿真能力。按照 Isaac AMR 所提供的藍圖，就能夠輕松地以更低的成本、更快的速度部署最先進的 AMR。Isaac AMR 建立在 NVIDIA Nova Orin 參考架構(gòu)的基礎(chǔ)上，該套件集成了包括立體攝影機、魚眼攝影機、2D 及 3D 激光雷達等多個傳感器，以及強大的 NVIDIA Jetson AGX Orin 系統(tǒng)模塊，并取得部分最先進的人工智能和硬件加速算法，實時在邊緣以 275TOPS 的算力執(zhí)行這些算法，藉此成為 Isaac AMR “學霸朋友般”的大腦與 “時刻觀察路況”的眼睛。第三方企業(yè)等開發(fā)者還可以基于 Isaac AMR，結(jié)合自身需求進行二次開發(fā)。

圖：英偉達Isaac AMR部署示意圖

資料來源：英偉達企業(yè)解決方案微信公眾號，民生證券研究院

免責聲明：本文檔所有信息來源于英偉達官網(wǎng)、英偉達官方系列微信公眾號，任何情況下不構(gòu)成投資建議。