7 月 29 日，NVIDIA宣布為全球領先的機器人制造商、AI模型開發(fā)者和軟件制造商提供一套服務、模型以及計算平臺，以開發(fā)、訓練和構(gòu)建下一代人形機器人。

整套產(chǎn)品包括用于機器人仿真和學習的全新NVIDIA NIM微服務和框架、用于運行多階段機器人工作負載的NVIDIA OSMO編排服務，以及支持AI和仿真的遠程操作工作流，該工作流允許開發(fā)者使用少量人類演示數(shù)據(jù)來訓練機器人。

NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“AI的下一波浪潮是機器人，其中最令人興奮的發(fā)展之一是人形機器人。我們正在推進整個NVIDIA機器人堆棧的發(fā)展，面向全球人形機器人開發(fā)者和公司開放訪問，讓他們能夠使用最符合其需求的平臺、加速庫和AI模型。”

借助 NVIDIA NIM 和 OSMO 加速開發(fā)

NIM微服務提供了由NVIDIA推理軟件提供支持的預構(gòu)建容器，使開發(fā)者能夠?qū)⒉渴饡r間從數(shù)周縮短到幾分鐘。機器人專家將能夠通過兩項新的 AI 微服務，在 NVIDIA Isaac Sim（基于 NVIDIA Omniverse平臺構(gòu)建的機器人仿真參考應用）中增強生成式物理AI仿真工作流。

MimicGen NIM微服務可根據(jù)Apple Vision Pro等空間計算設備記錄的遠程操作數(shù)據(jù)，生成合成運動數(shù)據(jù)。Robocasa NIM微服務可在OpenUSD（一個用于在3D世界中進行開發(fā)和協(xié)作的通用框架）中生成機器人任務和仿真就緒環(huán)境。

現(xiàn)已推出的NVIDIA OSMO是一項云原生托管服務，允許用戶跨分布式計算資源來協(xié)調(diào)和擴展復雜的機器人開發(fā)工作流，無論是在本地還是在云端。

OSMO大大簡化了機器人訓練和仿真工作流，將部署和開發(fā)周期從數(shù)月縮短到一周內(nèi)。用戶可以對各種任務進行可視化管理，包括合成數(shù)據(jù)生成、模型訓練、強化學習以及大規(guī)模的人形機器人、自主移動機器人和工業(yè)機械臂軟件在環(huán)測試。

為人形機器人開發(fā)者提供先進的數(shù)據(jù)捕獲工作流

訓練人形機器人的基礎模型需要大量的數(shù)據(jù)。遠程操作是獲取人類演示數(shù)據(jù)的方法之一，但這個過程正變得越來越昂貴和漫長。

通過在SIGGRAPH計算機圖形大會上展示的NVIDIA AI和Omniverse遠程操作參考工作流，研究者和 AI 開發(fā)者能夠從極少量遠程捕捉的人類演示中生成大量合成運動和感知數(shù)據(jù)。

首先，開發(fā)者使用Apple Vision Pro捕獲少量遠程操作演示，隨后在 NVIDIA Isaac Sim中仿真這些錄像，并使用MimicGen NIM微服務基于錄像生成合成數(shù)據(jù)集。

開發(fā)者可以使用真實數(shù)據(jù)和合成數(shù)據(jù)對Project GR00T人形機器人基礎模型進行訓練，以節(jié)省時間和降低成本。然后，他們可以使用Isaac Lab中的 Robocasa NIM微服務（一個機器人學習框架）來生成經(jīng)驗并重新訓練機器人模型。在整個工作流中，NVIDIA OSMO將計算任務無縫地分配給不同的資源，為開發(fā)者減少了數(shù)周的管理工作量。

通用機器人平臺公司傅利葉看到了使用仿真技術(shù)綜合生成訓練數(shù)據(jù)的優(yōu)勢。傅利葉首席執(zhí)行官 Alex Gu 表示：“人形機器人的開發(fā)極其復雜，這項工作需要從現(xiàn)實世界中繁瑣地獲取大量真實數(shù)據(jù)。NVIDIA 的全新仿真和生成式 AI 開發(fā)者工具將有助于引導和加速我們的模型開發(fā)工作流。”

擴大NVIDIA 人形機器人開發(fā)者技術(shù)的訪問渠道

NVIDIA提供了三個計算平臺來簡化人形機器人的開發(fā)，分別是：用于訓練模型的NVIDIA AI超級計算機；基于Omniverse構(gòu)建的NVIDIA Isaac Sim，使機器人可以在仿真世界中學習和完善技能；以及用于運行模型的NVIDIA Jetson Thor 人形機器人計算機。開發(fā)者可以根據(jù)具體需求來訪問和使用全部平臺或其中的任何部分。

通過新的NVIDIA人形機器人開發(fā)者計劃，開發(fā)者可以提前獲取這些新產(chǎn)品以及最新版本的NVIDIA Isaac Sim、NVIDIA Isaac Lab、Jetson Thor和Project GR00T通用人形機器人基礎模型。

首批加入早期訪問計劃的企業(yè)有1x、波士頓動力公司、字節(jié)跳動ByteDance Research、Field AI、Figure、傅利葉、銀河通用、逐際動力、Mentee、Neura Robotics、星動紀元和Skild AI。

波士頓動力公司首席技術(shù)官Aaron Saunders表示：“波士頓動力公司與 NVIDIA在推動機器人技術(shù)發(fā)展方面有著悠久的密切合作歷史。我們非常高興看到這項工作的成果正在加速整個行業(yè)的發(fā)展。而要想獲得最先進的技術(shù)，早期訪問計劃無疑是最佳的途徑。”