Pourquoi mesurer l’accord entre plusieurs annotateurs ?
Mesurer l’accord entre annotateurs révèle si une règle est comprise de la même façon et si les labels sont assez stables pour entraîner ou évaluer un modèle.
Bibliothèque de réponses
Parcourez les réponses publiées ou commencez par votre propre formulation.
Parcourir
3 233 questions
Mesurer l’accord entre annotateurs révèle si une règle est comprise de la même façon et si les labels sont assez stables pour entraîner ou évaluer un modèle.
Pour corriger une annotation sans contaminer l’évaluation, on versionne la correction, conserve l’ancienne trace et ne modifie pas silencieusement les données du test.
Il vaut mieux laisser un exemple non annoté lorsque l’image est ambiguë, trop dégradée ou hors règle, plutôt que d’ajouter un label inventé qui trompera le modèle.
Concevoir une collecte de données utile à un robot consiste à choisir les situations, capteurs, annotations et conditions qui répondent à une décision réelle.
Enregistrer les métadonnées avec une observation indique quand, où, avec quel capteur, réglage, version et contexte la donnée a été produite.
Collecter des données dans des situations rares sans mettre des personnes en danger consiste à privilégier simulation, objets instrumentés, zones contrôlées et consentement clair.
Inclure des données négatives signifie montrer au modèle des situations où l’objet ou l’événement recherché est absent, afin qu’il apprenne à ne pas déclencher partout.
Une campagne de collecte doit s’arrêter lorsque les nouveaux exemples n’apportent plus de situations utiles, que la qualité baisse ou que les contraintes de sécurité et de vie privée sont atteintes.
Mesurer un déséquilibre de classes consiste à comparer le nombre d’exemples de chaque catégorie et la part qu’ils représentent dans les données du robot.
Une pondération des classes donne plus d’importance aux exemples rares pendant l’entraînement, afin qu’un modèle robotique ne privilégie pas toujours la catégorie majoritaire.
La vérification demande si le robot a été construit conformément aux exigences ; la validation demande si le robot répond réellement au besoin dans son usage prévu.
Une campagne de tests représentative couvre les tâches, utilisateurs, environnements, charges, perturbations et pannes qui peuvent réellement survenir, avec des répétitions mesurables.
Autre chemin
Choisissez un domaine pour voir ses questions et ses sous-domaines.