Réponse rapide
Pour corriger une erreur d’annotation sans contaminer l’évaluation, on conserve l’ancienne version, identifie les éléments concernés, applique une règle versionnée et sépare les données corrigées des résultats déjà produits. Le jeu de test reste gelé ou est réévalué explicitement. Provenance, date et motif de correction accompagnent chaque changement.
Séparer entraînement et évaluation
Identifiants, hachages, partitions et versions empêchent qu’un exemple de test corrigé se retrouve implicitement dans l’entraînement. La référence d’évaluation est protégée et sa modification nécessite une décision tracée. Les modèles et métriques gardent le jeu utilisé.
Rejouer l’impact de la correction
Un échantillon est revu par une personne indépendante avant propagation. On compare prédictions, métriques et erreurs avant et après, en distinguant changement de donnée et de modèle. Les anciens résultats restent consultables pour comprendre la tendance.
Ne pas modifier silencieusement les fichiers de référence
Une correction non tracée rend impossible la comparaison et peut favoriser un modèle. Les doublons, caches et exports sont recherchés. Si l’évaluation change, le rapport le dit clairement.
Sources et références
- [1] Common pitfalls and recommended practices — scikit-learn — scikit-learn
- [2] DVC Documentation — Iterative