Comment choisir une métrique pour évaluer une détection d’objet robotique ?

Réponse rapide

Choisir une métrique pour une détection d’objet robotique dépend de la décision visée, de la taille et du nombre des objets, du coût des faux positifs et des manqués, ainsi que du temps disponible. Précision, rappel, IoU, précision moyenne, erreur de position et latence sont combinés plutôt qu’un seul score. Le seuil est évalué dans la chaîne de commande.

Relier métrique et conséquence

Une petite cible, une personne ou un obstacle proche n’exigent pas la même tolérance. On mesure détection, localisation, taille, confiance et délai par distance, lumière et occlusion. Le seuil retenu tient compte de la distance d’arrêt et de l’abstention.

Comparer scénarios et opérateurs

Jeux équilibrés et jeux à fréquence réelle montrent respectivement capacité et comportement terrain. Les sorties sont vérifiées sur le robot avec capteurs et cadence réels. Une métrique favorable mais trop lente ou instable ne convient pas à la fonction.

Ne pas choisir le score le plus élevé par habitude

Une moyenne peut masquer des manqués critiques ou récompenser des boîtes imprécises. La métrique et son seuil sont justifiés par la tâche. Les cas refusés par le modèle sont analysés, pas comptés automatiquement comme négatifs.

Sources et références

  1. [1] Model Evaluation — scikit-learn User Guide — scikit-learn

Cette réponse vous a-t-elle été utile ?