港大研建AI機械人統一評測基準

  香港大學多媒體實驗室推出結合模擬環境與真實機械人操作的具身人工智能(Embodied AI)統一評測基準平台「RoboDojo」,將模擬評測、標準化真實機械人測試及策略模型比較整合至單一框架。該平台有助解決現有評測方法多局限於模擬環境,或因硬件配置、測試條件及評分標準不一,導致不同模型難以公平比較的問題,讓機械人能真實反映在複雜多變的現實場景中持續穩定執行任務的能力。

  項目由港大計算與數據科學學院副院長(人工智能科技轉化及拓展)羅平與其博士研究生陳天行共同發起,並匯聚加州大學柏克萊分校及清華大學在內、全球近20所頂尖大學與科研機構共同參與。RoboDojo自推出以來迅速獲全球關注,於社交平台X發布的內容錄逾10萬次瀏覽,相關開源資源在AI社群平台Hugging Face上線一星期內下載量亦突破10萬次。平台目前涵蓋42項模擬任務、18項真實世界機械人任務及30個具代表性的機械人策略模型,全面評估機械人在泛化、記憶、精細操作及長程任務執行等關鍵維度的能力。

  現有模型實測成功率僅一成二

  評測結果顯示,目前表現最佳的模型在模擬環境及真實測試中的成功率分別僅為8.8%及12.8%,遠低於人類專家的76.03%及100%,反映具身AI要在複雜環境實現穩定可靠的日常應用,仍有相當大進步空間。

  羅平表示,RoboDojo是首個由香港牽頭、結合模擬與標準化真實機械人評測的基準平台,有助推動具身AI研究由過往着重示範成果,邁向可量度、可比較及可信賴的技術進步。未來RoboDojo將有助建立公平、透明及可重現的評測機制,促進全球學術界與產業界深度協作,推動具身AI技術由展示導向走向可持續發展。