Réponse rapide
L’incertitude d’une annotation se représente par désaccords, intervalles, distributions de labels ou statut ambigu, afin que le modèle et l’évaluation ne traitent pas une frontière floue comme une vérité certaine.
Décrire
Notez annotateurs, confiance, tolérance, repère, unité et cause du doute. Distinguez objet absent, occlus, hors cadre et réellement indéterminé.
Utiliser
Pondérez, excluez temporairement ou conservez plusieurs labels selon l’objectif. Les pertes et métriques indiquent comment l’ambiguïté est prise en compte.
Contrôler
Faites relire les cas à fort désaccord et mesurez l’effet sur seuils, rappel et calibration. Une annotation incertaine ne doit pas servir seule à déclarer un incident.
Sources et références
- [1] Model Evaluation — scikit-learn User Guide — scikit-learn