4 月 2 日，智能協(xié)作機(jī)械臂廠商越疆機(jī)器人發(fā)布了 AI 訓(xùn)練機(jī)器人 X-Trainer。

視頻顯示了 X-Trainer 采用模仿學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)+ 視覺大語言模型，訓(xùn)練 2 小時，獲得了自主刷盤子的能力，相較普遍的訓(xùn)練時長，節(jié)省了 70% 的訓(xùn)練時間。

從帶有紅色食物殘留物的盤子、放在黃色盤子上的海綿，以及后面掛著碟子的金屬架，推理出清洗盤子并收納到金屬架的任務(wù)。

擦拭三連，不放過一點(diǎn)殘留的污漬。

機(jī)器人刷完盤子準(zhǔn)備放進(jìn)盤架時，突然被人為干預(yù)再次弄臟盤子，但機(jī)器人迅速捕捉到這一變化，并立即做出反應(yīng)。

看似一個簡單的刷盤子任務(wù)，機(jī)器人也有靈活的反應(yīng)！完整DEMO視頻如下面所示：

視頻發(fā)布后引起了網(wǎng)友的熱議，并期待機(jī)器人做家務(wù)的時代真的到來！

網(wǎng)友熱評

@YLshowT

@陸二的烤羊腿

@biubiu哈的視頻號

甚至有人調(diào)侃，如果人類一直搗蛋，機(jī)器人會不會一直刷下去，會不會罷工！

實(shí)際上，X-Trainer 融合了智能機(jī)器人與 AI 最前沿技術(shù)，使得機(jī)器人能夠快速模仿學(xué)習(xí)人類復(fù)雜動作，最終實(shí)現(xiàn)行為克隆。

越疆科技聯(lián)合創(chuàng)始人郎需林表示，視頻中 X-Trainer 一系列的動作來源于模仿學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)端到端的控制，是訓(xùn)練后完全自主的運(yùn)行，機(jī)器人的平穩(wěn)性和速度有了顯著的提升。整個方案采用了視覺大語言模型和模仿學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。

首先機(jī)器人攝像頭將頂部的圖像輸入視覺大語言模型，X-Trainer 可以完成：

01、工作場景的描述 [包括沾有食物殘?jiān)牡?，放在黃色盤子上的海綿，以及后面放置碟子的鐵架，組成的這樣一個廚房場景]

02、視覺大模型實(shí)現(xiàn)了對于任務(wù)的推理，[ 沾有食物殘?jiān)谋P子，放在黃色盤子上的海綿，以及后面放置碟子的金屬架 = 清洗盤子并收納到金屬架的任務(wù)]

關(guān)于雙臂的操作，所有動作通過端到端神經(jīng)網(wǎng)絡(luò)驅(qū)動，25Hz 頻率接收頂部和手部的三個攝像頭圖像并完成推理，通過高性能的在線運(yùn)動規(guī)劃接口生成 250Hz 的雙臂運(yùn)動，（根據(jù)公開信息，figure01 接收機(jī)載圖像網(wǎng)絡(luò)頻率為 10Hz），X-Trainer 25Hz 的端到端高性能運(yùn)動接口，響應(yīng)速度提升了150% ，這使得機(jī)器人的運(yùn)行平穩(wěn)性得到了進(jìn)一步的提升。

2024 年 1 月， Figure 展示了 Figure 01 制作咖啡的一段視頻并表示機(jī)器人練習(xí)這些動作的方法是端到端的方式，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時間為 10 小時。X-Trainer 通過人類示范學(xué)習(xí)，僅需 2 小時訓(xùn)練即可自主刷盤子，并對實(shí)時干擾快速糾正。

X-Trainer 的高速訓(xùn)練得益于 0.05mm 高精度雙臂，使 AI 訓(xùn)練機(jī)器人擁有工業(yè)級數(shù)據(jù)采集與動作精度，大幅提升了完成任務(wù)的效率和質(zhì)量，獲得了用于快速訓(xùn)練的高質(zhì)量數(shù)據(jù)集，而該機(jī)械臂更是在 3C 制造、商用咖啡店、醫(yī)療艾灸等領(lǐng)域廣泛應(yīng)用的工業(yè)級機(jī)械臂，這使得訓(xùn)練后場景的落地?fù)碛辛吮Ｕ稀?/p>

最后郎需林表示，模仿學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，端到端圖像到動作的映射，訓(xùn)練速度和質(zhì)量都在高速發(fā)展進(jìn)步，無論是特斯拉還是 Figure 都展示相關(guān)的技術(shù)成果，X-Trainer，X 代表無限的訓(xùn)練可能，該訓(xùn)練平臺的發(fā)布希望助力中國具身智能的發(fā)展，讓人工智能的產(chǎn)業(yè)落地?fù)碛幸粋€高性能的載體。

具身智能是指一種基于物理身體進(jìn)行感知和行動的智能系統(tǒng)，其通過智能體與環(huán)境的交互獲取信息、理解問題、做出決策并實(shí)現(xiàn)行動，從而產(chǎn)生智能行為和適應(yīng)性，是 AI 實(shí)現(xiàn)物理世界交互的關(guān)鍵載體。

協(xié)作機(jī)器人是具身智能的重要硬件載體，從工業(yè)到商業(yè)，釋放更加巨大的市場空間。

越疆科技已在全球部署機(jī)器人超過 7 萬臺，產(chǎn)品服務(wù)覆蓋 100 個國家和地區(qū)，服務(wù)于立訊精密、比亞迪、富士康、華為、豐田、大眾等數(shù)十家世界 500 強(qiáng)企業(yè)，連續(xù)五年出口量居首，擁有豐富的具身智能應(yīng)用和落地場景基礎(chǔ)。

越疆科技一直致力于 AI+ 機(jī)器人的技術(shù)突破和產(chǎn)業(yè)落地，被美國 CB Insights評為全球 80 家最具投資價值的機(jī)器人企業(yè)之一，與全球眾多人工智能院校建立了合作關(guān)系，包括牛津大學(xué)、卡耐基梅隆大學(xué)、麻省理工大學(xué)、早稻田大學(xué)，牽頭承擔(dān)廣東省重點(diǎn)領(lǐng)域研發(fā)計(jì)劃人工智能專項(xiàng)“多自由度智能體復(fù)雜技能自主學(xué)習(xí)、關(guān)鍵部件與 3C 制造業(yè)示范應(yīng)用”。同時越疆作為國家級專精特新“小巨人”企業(yè)，于 2022 年?duì)款^承擔(dān)國家重點(diǎn)研發(fā)計(jì)劃智能機(jī)器人專項(xiàng)，累計(jì)申請知識產(chǎn)權(quán)超過 1200 項(xiàng)，被認(rèn)定為國家優(yōu)勢知識產(chǎn)權(quán)企業(yè)，在協(xié)作和人形機(jī)器人核心零部件、電子皮膚、遙操作、模仿學(xué)習(xí)等方向形成針對性的專利群布局。