Réponse rapide
Un score de confiance se calibre en comparant probabilités et fréquences d’erreur sur des données indépendantes, par classe, distance, condition et niveau de décision.
Préparer
Séparez calibration, validation et test et conservez classes rares, cas négatifs et conditions de mission. Les annotations et changements de distribution doivent être documentés.
Calibrer
Comparez fiabilité, biais, couverture et erreurs de seuil et ajustez par classe ou contexte si nécessaire. Une probabilité doit correspondre à une fréquence observée, pas seulement à un rang.
Utiliser
Reliez le score aux coûts de faux positif, faux négatif, distance d’arrêt et repli. Réévaluez la calibration après changement de capteur, modèle ou environnement.
Sources et références
- [1] Robotics and Autonomous Systems — NIST