Réponse rapide
Comparer deux algorithmes dans un scénario de conduite exige mêmes données, conditions, ressources, critères, règles d’arrêt et répétitions, avec résultats et incertitudes rapportés séparément.
Une moyenne peut masquer un danger
Rapportez pires cas, dispersion, refus et récupération ; comparez à critères et ressources identiques.
Figer la comparaison
Carte, capteurs, charge, seed, versions, temps de calcul et intervention humaine restent identiques ou sont explicitement comparés.
Mesurer le coût réel
Réussite, erreur, sécurité, latence, énergie, oscillations, refus et récupération comptent avec les mêmes pondérations.
Analyser les écarts
Inspectez cas gagnés et perdus, intervalles et causes plutôt qu’un classement fondé sur une moyenne unique.
Sources et références
- [1] Robotics and Autonomous Systems — NIST