Wanneer de vlaggenschipmodellen van de drie AI-giganten OpenAI, Anthropic en Google het tegen elkaar opnemen, wie kan dan beter robots besturen?
Op 20 oktober publiceerde RoboColiseum, een embodied arena die gezamenlijk is gelanceerd door bijna 20 universiteiten, bedrijven en onderzoeksinstellingen wereldwijd, waaronder Mifeng Technology, Hugging Face, NVIDIA en Tsinghua Universiteit, de resultaten van deze evaluatieronde: Claude Opus 5.5 staat op de eerste plaats in de algehele ranglijst van de vier vlaggenschipmodellen, direct gevolgd door GPT-6 Astra.
Per onderdeel bekeken loopt GPT-6 Astra onder de vier vlaggenschipmodellen voorop op het gebied van instructieopvolging en algehele verstoringsbestendigheid, met een score van 99,35 voor instructieopvolging; Opus presteert beter op ruimtelijk begrip en algemene manipulatie en behaalt de eerste plaats in de vlaggenschipgroep met het laagste tokenverbruik over alle evaluatierondes. In de test waarbij de beeldkwaliteit werd verstoord, bleef GPT-6.1 Sol duidelijk achter bij de andere drie modellen, wat de verschillen in stabiliteit bij veranderingen in visuele informatie tussen de modellen laat zien.
Maar de top twee van deze algehele ranglijst wordt nog steeds bezet door embodied strategiemodellen, die vooral op het dimensie van algemene manipulatie hun voorsprong behouden.
Deze onderlinge strijd biedt de sector een directe referentie om de sterke punten en tekortkomingen van algemene grote modellen en embodied strategiemodellen inzichtelijk te maken.
RoboColiseum heeft rond instructieopvolging, ruimtelijk begrip, verstoringsbestendigheid en algemene manipulatie vier subranglijsten voor vaardigheden en 78 hooggetrouwe simulatie-evaluatietaken uitgebracht. Het toont zowel de deelprestaties van de modellen als de stappen voor taakvoltooiing en de faallocaties, zodat ontwikkelaars snel de zwakke punten van een model kunnen lokaliseren.
Als mede-initiatiefnemer levert Mifeng hooggetrouwe objectassets en simulatiescènes voor RoboColiseum, ondersteunt het de opbouw van evaluatieomgevingen voor complexe robotmanipulatietaken en biedt het basisbronnen voor het testen van modelcapaciteiten onder verschillende objectinteracties, ruimtelijke indelingen en omgevingsomstandigheden.
Of de scores van modellen in simulatie de werkelijke operationele prestaties kunnen weerspiegelen, is eveneens cruciaal voor de evaluatie. Volgens de door het platform gepubliceerde testresultaten bedraagt de correlatie tussen de RoboColiseum-simulatie-evaluatie en daadwerkelijke inzet 89,5%, en bedraagt het verschil in evaluatie tussen simulatie en de echte wereld voor hetzelfde model minder dan 10%, wat ontwikkelaars een referentie biedt voor modelselectie en probleemlokalisatie voordat zij met echte robots gaan testen.
Mifeng Technology biedt een dataleveringssysteem dat "compleet, goed en snel" is en drie dataparadigma's omvat: echte robots, simulatie en zonder belichaming. Op het gebied van simulatie levert Mifeng twee soorten bronnen, namelijk objectassets en omgevingsassets, die diverse dagelijkse voorwerpen en binnenscènes omvatten, en biedt het mogelijkheden zoals scènereconstructie, het verkrijgen van experttrajectdata en visualisatie van evaluatieresultaten, om modelteams te helpen bij gevarieerde training en evaluatie.
Coliseum verwees oorspronkelijk naar het Romeinse amfitheater; RoboColiseum gebruikt dit als beeld om een multidimensionaal systematisch evaluatiesysteem op te bouwen en om met simulatie-evaluatie die sterk overeenkomt met de prestaties van echte robots een openbare, neutrale en reproduceerbare "arena" en "trainingsveld" voor embodied intelligentiemodellen te creëren. Elke universiteit, onderzoeksinstelling of bedrijfsontwikkelaar kan zijn model indienen om een gestandaardiseerd "examen" af te leggen. Sinds de lancering in augustus hebben meer dan 100 teams uit binnen- en buitenland modeltraining en -evaluatie op het platform uitgevoerd.
RoboColiseum is nu open voor ontwikkelaars wereldwijd; modelteams zijn van harte welkom om aan de evaluatie deel te nemen.
