Réponse rapide
Le gain réel se mesure en comparant chaque source, combinaisons et système complet sur mêmes scénarios, défauts et coûts. Précision, couverture, disponibilité, latence, énergie, diagnostic et repli sont évalués.
Mettre les options à égalité
Robot, scènes, calibration, fréquence, budget et critères sont identiques. Versions et données sont séparées entre réglage et évaluation.
Mesurer au-delà de la précision
Couverture, erreurs rares, retard, consommation, perte de source et intervention complètent moyenne et dispersion. Les scénarios difficiles restent identifiés.
Relier gain et explicabilité
Une amélioration n’est retenue que si cause, domaine et comportement hors domaine restent compréhensibles. Le système doit continuer à diagnostiquer ses sources.
Sources et références
- [1] Robotics and Autonomous Systems — NIST