Réponse rapide
Évaluer un classifieur utilisé par un robot demande de mesurer précision, rappel, matrice de confusion, calibration de confiance et latence sur des données séparées par scène, capteur et condition. Les métriques sont ensuite testées dans la boucle de décision, avec leurs incertitudes.
Détailler les erreurs
Précision et rappel par classe révèlent les confusions qu’une moyenne masque, surtout avec des classes déséquilibrées. Effectifs, intervalles et seuils sont publiés.
Tester hors des données connues
Validation couvre éclairage, distance, angle, capteur, objet absent et site différent. Les changements de distribution et la calibration de confiance sont suivis.
Relier métrique et action
Le seuil est choisi selon l’action et le coût d’erreur puis vérifié avec planificateur et contrôleur. Une bonne mesure hors ligne ne suffit pas à prouver une conduite sûre.
Sources et références
- [1] Robotics and Autonomous Systems — NIST