Une classification multi-classes avec classes rares se mesure par métriques par classe, macro et micro, matrice de confusion, calibration et coût d’erreur, sans laisser la classe majoritaire dominer le verdict.
Les métriques d’un classifieur robotique comprennent exactitude, précision, rappel, F1, matrice de confusion, calibration, latence et coût d’erreur, ventilés par classe et environnement.
La précision mesure la proportion des détections positives qui sont correctes, tandis que le rappel mesure la proportion des cas réellement positifs qui sont retrouvés. Le choix dépend du coût de chaque omission ou…
Un rapport de performance décrit données et protocole, métriques globales et par classe, seuils, calibration, latence, ressources, erreurs critiques, limites, versions et conditions de déploiement.
La précision mesure la part des alertes correctes, le rappel la part des objets réellement présents retrouvés, et l’exactitude la proportion totale de décisions correctes.
La calibration d’une confiance se mesure en comparant probabilités annoncées et fréquences réellement correctes, avec des courbes et des intervalles sur un test indépendant.
Comparer deux classifieurs lorsque leurs erreurs n’ont pas le même coût demande de pondérer les confusions selon la mission plutôt que de choisir le meilleur score moyen.
Le seuil de décision transforme un score de modèle en classe ; le déplacer change le nombre de détections et de fausses alertes.
La courbe précision-rappel montre le compromis entre retrouver davantage de cas positifs et limiter les fausses alertes, surtout quand les classes sont déséquilibrées.