Réponse rapide
Deux versions se comparent sur le même test figé et des scènes nouvelles, avec métriques par classe, calibration, latence, ressources, incidents et possibilité de détecter une régression rare.
Avertissement de sécurité
Une amélioration moyenne peut cacher une régression critique ou une latence dangereuse. Conservez test figé, pilote limité et retour vers la version connue.
Référence
Figez modèle actif, données, prétraitement, seuils, matériel et critères avant l’essai. Conservez les cas historiques difficiles et les incidents réels.
Comparer
Rapportez gain, perte et incertitude par condition, ainsi que temps d’inférence, mémoire, énergie, refus et effet sur commande. Inspectez les exemples qui changent de décision.
Décider
Un gain moyen ne compense pas une régression critique. Déployez d’abord en pilote ou ombre, gardez rollback et bloquez l’extension jusqu’à analyse de l’écart.
Sources et références
- [1] Robotics and Autonomous Systems — NIST