Comment le taux d’apprentissage influence-t-il une descente de gradient ?
Mise à jour29 août 2026
Lecture1 minute
Réponse rapide
Le taux d’apprentissage fixe la taille des mises à jour : trop faible, l’entraînement progresse lentement ; trop élevé, il oscille, diverge ou dépasse les bonnes régions. Il se choisit sur validation.
Avancer avec prudence
Un taux faible stabilise souvent la descente mais peut demander beaucoup d’itérations et rester bloqué par un plateau.
Éviter les sauts
Un taux élevé accélère les premiers pas mais peut faire augmenter la perte, produire des gradients instables ou dégrader la généralisation.
Observer les courbes
Perte d’entraînement et de validation, norme du gradient et métriques métier guident le choix. Planification du taux, arrêt et réduction progressive sont testés sur plusieurs graines.
Sources et références
- [1] Robotics and Autonomous Systems — NIST