作為AI計(jì)算平臺(tái)的核心玩家，英偉達(dá)正試圖用“物理AI”打開新一輪增長(zhǎng)空間。在本周的SIGGRAPH大會(huì)，英偉達(dá)推出了全新的NVIDIA Omniverse庫(kù)與NVIDIA Cosmos世界基礎(chǔ)模型，加速機(jī)器人解決方案的開發(fā)和部署。

新發(fā)布的Omniverse軟件開發(fā)套件 (SDK) 和工具庫(kù)可用于構(gòu)建和部署工業(yè) AI 和機(jī)器人開發(fā)仿真應(yīng)用。其中，Isaac Sim 5.0和Isaac Lab 2.2開源機(jī)器人仿真和學(xué)習(xí)框架現(xiàn)已在GitHub上提供。這類工具可幫助開發(fā)者在虛擬環(huán)境中驗(yàn)證算法與硬件設(shè)計(jì)，從而縮短從概念到落地的周期，縮小仿真與現(xiàn)實(shí)之間的差距。

而英偉達(dá)的Cosmos模型，可以讓開發(fā)者通過(guò)文本、圖像和視頻提示大規(guī)模生成各種用于訓(xùn)練機(jī)器人的數(shù)據(jù)。 其中，即將發(fā)布的Cosmos Transfer-2能快速生成逼真的合成數(shù)據(jù)。

另一款推理模型Cosmos Reason則是聚焦視覺(jué)領(lǐng)域。

自O(shè)penAI的CLIP模型推出以來(lái)，視覺(jué)語(yǔ)言模型 (VLM) 改變了物體和模式識(shí)別等計(jì)算機(jī)視覺(jué)任務(wù)。但是，它們尚未能夠解決多步驟任務(wù)，也無(wú)法處理模糊或新穎的體驗(yàn)。

Cosmos Reason是一款面向物理AI和機(jī)器人開發(fā)的全新開源(16.870, 0.20, 1.20%)、可定制的70億參數(shù)推理VLM，可讓機(jī)器人和視覺(jué)AI智能體像人類一樣推理，利用先驗(yàn)知識(shí)、物理理解和常識(shí)，對(duì)現(xiàn)實(shí)世界進(jìn)行理解與操作。

這意味著，未來(lái)的機(jī)器人不僅能“看見”物體，還能基于物理法則預(yù)測(cè)和規(guī)劃下一步行動(dòng)，大模型將進(jìn)一步強(qiáng)化機(jī)器人的“大腦”。

英偉達(dá)Omniverse和仿真技術(shù)副總裁Rev Lebaredian表示：“計(jì)算機(jī)圖形與AI的融合，從根本上改變著機(jī)器人。通過(guò)將AI推理與物理精準(zhǔn)的可擴(kuò)展仿真相結(jié)合，我們正幫助開發(fā)者打造未來(lái)的機(jī)器人和智能汽車，這將為各行業(yè)帶來(lái)價(jià)值數(shù)萬(wàn)億美元的改變。”

在近日的世界機(jī)器人大會(huì)上，Rev Lebaredian直言英偉達(dá)瞄準(zhǔn)的目標(biāo)是下一個(gè)物理AI時(shí)代，將構(gòu)建智能的相同能力應(yīng)用于物理世界，這對(duì)工業(yè)、經(jīng)濟(jì)和社會(huì)的重要性不言而喻。

“本質(zhì)上，物理AI可以歸結(jié)為創(chuàng)建關(guān)于物理定律運(yùn)行的智能模型。它允許我們創(chuàng)建計(jì)算系統(tǒng)來(lái)解釋我們從物理世界中感知到的東西，從而預(yù)測(cè)這些物理系統(tǒng)將如何隨著時(shí)間的推移而演變，這樣就可以相應(yīng)地計(jì)劃行動(dòng)來(lái)控制物理世界內(nèi)部的事物。” 他對(duì)于物理AI的概念這樣解釋。

英偉達(dá)為機(jī)器人和物理AI落地部署了三大計(jì)算機(jī)平臺(tái)：一是嵌入機(jī)器人本體的計(jì)算機(jī)，例如人形機(jī)器人搭載的Jetson Thor；二是AI工廠計(jì)算機(jī)，用于在部署前通過(guò) DGX、HGX 系統(tǒng)處理海量數(shù)據(jù)(15.550, -0.10, -0.64%)（維權(quán)）、訓(xùn)練模型；三是仿真計(jì)算機(jī)，通過(guò)物理定律生成數(shù)據(jù)并提前測(cè)試機(jī)器人，測(cè)試速度可快于現(xiàn)實(shí)時(shí)間，Omniverse庫(kù)和Cosmos的搭配是關(guān)鍵。

此次更新模型和工具庫(kù)，就是解決數(shù)據(jù)和仿真的問(wèn)題。

關(guān)于應(yīng)對(duì)機(jī)器人數(shù)據(jù)缺口挑戰(zhàn)，Rev Lebaredian表示：“為了構(gòu)建人工智能，我們需要數(shù)據(jù)，但物理AI所需的數(shù)據(jù)并不容易在現(xiàn)實(shí)世界中獲得。我們不能通過(guò)從互聯(lián)網(wǎng)上抓取，只能去創(chuàng)造它。在建立擁有足量知識(shí)的系統(tǒng)的基礎(chǔ)上，我們將它與經(jīng)典仿真相結(jié)合，使用模擬器生成這些數(shù)據(jù)，以擴(kuò)大數(shù)據(jù)量。”

他也舉了一個(gè)實(shí)操案例進(jìn)行說(shuō)明，“把Omniverse為一個(gè)正在執(zhí)行拾取和放置任務(wù)的機(jī)器人所做的模擬輸入到Cosmos中，以產(chǎn)生無(wú)限的變化，便可以獲得訓(xùn)練一個(gè)合適的模型所需的足量額外數(shù)據(jù)。”

此外，Rev Lebaredian對(duì)中國(guó)機(jī)器人產(chǎn)業(yè)技術(shù)的發(fā)展給予了高度評(píng)價(jià)：“中國(guó)擁有制造具有強(qiáng)大的成本效益、高效、實(shí)用、敏捷的機(jī)器人所必需的全部要素，這是世界上其他國(guó)家所不具備的能力。”

他認(rèn)為中國(guó)完全具備迎接新時(shí)代所需的正確要素，包括機(jī)電一體化等專業(yè)知識(shí)、來(lái)自計(jì)算機(jī)科學(xué)領(lǐng)域頂尖大學(xué)的科研人才和龐大的制造基地等，這些都很好地填補(bǔ)了創(chuàng)造足夠智能和實(shí)用的機(jī)器人所缺失的拼圖。

目前，國(guó)內(nèi)明星機(jī)器人企業(yè)都和英偉達(dá)合作研發(fā)產(chǎn)品，包括傅利葉、加速進(jìn)化、優(yōu)必選、銀河通用、宇樹科技、智元機(jī)器人等。

與此同時(shí)，機(jī)器人產(chǎn)業(yè)競(jìng)爭(zhēng)仍處于早期，技術(shù)標(biāo)準(zhǔn)尚未統(tǒng)一，落地場(chǎng)景的商業(yè)化節(jié)奏和成本控制仍是所有參與者必須面對(duì)的挑戰(zhàn)。