Réponse rapide
On évalue un modèle vision-langage pour un robot sur des scènes et instructions représentatives, avec exactitude d’ancrage, pertinence du plan, calibration de l’incertitude, latence et comportement en échec.
Construire des cas réalistes
Le jeu couvre éclairages, occlusions, accents, formulations, objets inconnus et configurations inhabituelles. Les données de test sont séparées des exemples utilisés pour l’adaptation.
Mesurer les étapes
On distingue reconnaissance, liaison mot-image, choix d’action, refus approprié, latence et consommation. Les erreurs sont pondérées selon leur conséquence pour la mission.
Observer le robot réel
Des essais contrôlés vérifient perception, planification et arrêt sur le matériel cible. Les résultats sont segmentés par environnement pour révéler les régressions masquées par une moyenne globale.
Sources et références
- [1] Robotics and Autonomous Systems — NIST