Une classification multi-classes avec classes rares se mesure par métriques par classe, macro et micro, matrice de confusion, calibration et coût d’erreur, sans laisser la classe majoritaire dominer le verdict.
Un rapport de performance décrit données et protocole, métriques globales et par classe, seuils, calibration, latence, ressources, erreurs critiques, limites, versions et conditions de déploiement.
La précision mesure la proportion des détections positives qui sont correctes, tandis que le rappel mesure la proportion des cas réellement positifs qui sont retrouvés. Le choix dépend du coût de chaque omission ou…
Les métriques d’un classifieur robotique comprennent exactitude, précision, rappel, F1, matrice de confusion, calibration, latence et coût d’erreur, ventilés par classe et environnement.
Pour tester un nouvel environnement, on réserve lieux et conditions non vus, puis on mesure erreurs, incertitude, décisions et repli avant déploiement. Configuration, capteurs et domaine sont documentés.
La généralisation s’améliore par données diversifiées, contrôle des biais, régularisation et validation indépendante. Chaque changement est vérifié sur le domaine réel et ses cas limites.
La généralisation est la capacité d’un modèle à fonctionner sur données, scènes ou situations nouvelles mais pertinentes, au-delà des exemples d’entraînement. Elle se mesure par scénario et domaine.
Pour comparer deux modèles de perception aux erreurs différentes, on examine les mêmes cas critiques, les types d’erreurs et leur coût opérationnel, plutôt qu’une seule moyenne.
Comparer deux classifieurs lorsque leurs erreurs n’ont pas le même coût demande de pondérer les confusions selon la mission plutôt que de choisir le meilleur score moyen.
La calibration d’une confiance se mesure en comparant probabilités annoncées et fréquences réellement correctes, avec des courbes et des intervalles sur un test indépendant.
La précision mesure la part des alertes correctes, le rappel la part des objets réellement présents retrouvés, et l’exactitude la proportion totale de décisions correctes.
Documenter les limites d’un modèle autonome consiste à préciser scènes couvertes, erreurs connues, données absentes, seuils de confiance et action attendue en cas de doute.