Réponse rapide
La calibration mesure si une confiance annoncée correspond à une fréquence réelle de réussite, par courbe de fiabilité, erreur de calibration et analyse par classe et condition.
Construire
Réservez un jeu indépendant et représentatif, sans régler puis évaluer sur les mêmes exemples. Séparez calibration de classement et performance de décision.
Mesurer
Comparez intervalles de confiance annoncés et taux corrects, avec taille d’échantillon et variation par classe, seuil, capteur et domaine. Inspectez les sorties trop confiantes.
Utiliser
Une confiance calibrée aide à s’abstenir, demander confirmation ou réduire vitesse, mais ne couvre pas un domaine absent. Surveillez sa dérive après déploiement.
Sources et références
- [1] Robotics and Autonomous Systems — NIST