Pourquoi mesurer l’accord entre plusieurs annotateurs ?
Mise à jour28 août 2026
Lecture1 minute
Réponse rapide
Mesurer l’accord entre annotateurs révèle si une règle est comprise de la même façon et si les labels sont assez stables pour entraîner ou évaluer un modèle.
Comparer au-delà du pourcentage
Accord brut, matrice de confusion et mesure adaptée au type de label montrent quelles classes ou frontières posent problème.Deux équipes marquent des piétons
Elles concordent sur les personnes visibles mais divergent sur les silhouettes masquées ; le guide est corrigé sur ce cas précis.Un score élevé peut cacher une classe rare
Prévalence, échantillon et désaccords importants doivent être examinés. L’accord ne remplace pas une revue qualitative.
Sources et références
- [1] Metrics and scoring: quantifying the quality of predictions — scikit-learn
- [2] AI Risk Management Framework — NIST