Réponse rapide
Une fuite de données survient lorsqu’une information du test, du futur ou de la cible influence l’entraînement, donnant une performance artificiellement optimiste qui disparaît sur le robot.
Origines
Recherchez doublons entre partitions, images d’un même épisode, statistiques calculées sur tout le jeu, identifiants cachés et labels indirectement présents dans les entrées.
Séparer
Découpez par scène, session, robot ou site avant prétraitement et augmentation lorsque ces facteurs créent une corrélation. Apprenez normalisation et vocabulaire uniquement sur l’entraînement.
Éprouver
Rejouez un test strict, comparez à une séparation temporelle et inspectez les exemples les plus faciles. Un écart brutal impose de revoir le pipeline avant déploiement.
Sources et références
- [1] Cross-validation: evaluating estimator performance — scikit-learn — scikit-learn