Comment détecter une divergence pendant l’entraînement par descente de gradient ?
Mise à jour29 août 2026
Lecture1 minute
Réponse rapide
Une divergence se repère par perte qui augmente ou devient non finie, gradients qui explosent, paramètres instables et métriques de validation qui se dégradent. L’entraînement est alors arrêté ou ramené à un état connu.
Surveiller les valeurs
Perte, norme des gradients, poids, sorties et temps de calcul sont suivis à chaque étape. NaN, infini ou variation brutale déclenchent une alerte immédiate.
Chercher l’origine
Taux excessif, données aberrantes, normalisation incorrecte, gradient mal calculé ou instabilité numérique sont examinés séparément.
Corriger avant reprise
Checkpoint, taux réduit, gradient borné ou données nettoyées peuvent être testés. La reprise est comparée à une validation indépendante avant de conserver le modèle.
Sources et références
- [1] Robotics and Autonomous Systems — NIST