Réponse rapide
Lorsque les annotations humaines divergent, on examine la consigne, le cas ambigu et la distribution des avis, puis on conserve une vérité nuancée ou une zone d’incertitude plutôt qu’une étiquette arbitraire.
Analyser
Mesurez accord par classe, scène et annotateur et inspectez les exemples litigieux. Une frontière floue ou une consigne contradictoire explique souvent le désaccord.
Arbitrer
Faites relire les cas importants, documentez règle et justification et utilisez distribution ou abstention lorsque plusieurs lectures restent légitimes. Ne cachez pas le conflit dans une moyenne.
Évaluer
Rapportez performance selon plusieurs vérités acceptables et mesurez l’impact sur décision. Les cas ambigus deviennent tests dédiés et limites de déploiement.
Sources et références
- [1] Robotics and Autonomous Systems — NIST