Réponse rapide
Évaluer un modèle robotique exige un jeu indépendant, des métriques liées à la mission, une mesure de calibration, latence et ressources, puis un essai sur le matériel et les conséquences de ses erreurs.
Jeu
Séparez scènes, épisodes, robots et sites selon les corrélations réelles. Couvrez conditions nominales, limites, classes rares, données manquantes et hors domaine.
Mesures
Rapportez erreur par classe ou tâche, confiance, abstention, délai, énergie et stabilité. Reliez faux positifs et négatifs à une conséquence compréhensible.
Mission
Rejouez perception, planification, commande, arrêt et reprise dans la boucle complète. Un bon score hors robot ne prouve pas une action sûre.
Sources et références
- [1] Robotics and Autonomous Systems — NIST