Réponse rapide
Il vaut mieux laisser un exemple non annoté lorsque l’information est trop ambiguë, masquée, corrompue ou hors du périmètre pour qu’une étiquette fiable soit attribuée. Forcer une classe ajoute du bruit ciblé et peut apprendre au robot une fausse certitude. L’exemple reste identifié, expliqué et éventuellement réservé à une règle ou un jeu futur.
Définir un statut d’incertitude
Inconnu, non visible, hors domaine, qualité insuffisante et désaccord sont distingués. Le statut indique si l’exemple peut servir à tester robustesse ou uniquement à entraîner une décision. Les annotateurs demandent une information supplémentaire quand elle est disponible.
Comparer coût du bruit et valeur de l’exemple
Rareté, difficulté, impact sur la classe et utilité pour les erreurs sont évalués. Un échantillon non annoté peut être priorisé pour une revue experte. Les métriques ignorent ou traitent explicitement les statuts inconnus.
Ne pas convertir toute abstention en classe négative
Absence de preuve n’est pas preuve d’absence. Une zone non visible ou un capteur défaillant ne doit pas apprendre au modèle à nier l’objet. Les exclusions sont documentées et contrôlées.
Sources et références
- [1] Model Evaluation — scikit-learn User Guide — scikit-learn
- [2] Artificial Intelligence Risk Management Framework (AI RMF 1.0) — NIST