Une évaluation reproductible décrit données, séparations, prétraitements, matériel, versions, paramètres, métriques et procédure afin qu’une autre équipe puisse refaire l’essai.
Comparer un modèle d’IA à une règle simple révèle s’il apporte un gain réel par rapport à une solution compréhensible, stable et facile à maintenir.
La robustesse d’un modèle robotique se mesure en le soumettant à des perturbations réalistes et en observant ses erreurs, son incertitude et son comportement de repli.
La bonne métrique dépend de la décision du robot : détection, localisation, coût d’un faux signal et délai comptent souvent davantage qu’un score unique.
Évaluer un modèle d’IA sur des données jamais vues mesure sa capacité à généraliser plutôt que sa simple mémoire des exemples d’entraînement.