Comment fonctionne la mise à jour Q-learning ?
La mise à jour Q-learning rapproche la valeur d’une action de la récompense immédiate plus la meilleure valeur future, pondérée par le taux d’apprentissage et l’actualisation.
Domaine de connaissance
Affiner le parcours
Choisissez une branche plus précise ou continuez avec toutes les réponses ci-dessous.
Questions du domaine
20 résultats
La mise à jour Q-learning rapproche la valeur d’une action de la récompense immédiate plus la meilleure valeur future, pondérée par le taux d’apprentissage et l’actualisation.
Évaluer une politique apprise par Q-learning demande scénarios séparés, comparaison à une référence, mesures de réussite, coût, robustesse, contraintes, généralisation et pire cas.
Un critique séparé permet d’estimer la valeur des actions avec un signal plus informatif que le seul succès final, ce qui peut accélérer l’apprentissage et réduire la variance ; il reste toutefois sujet à…
Le Q-learning apprend directement une valeur d’action et choisit souvent par maximisation, tandis que l’acteur-critique apprend explicitement une politique et un évaluateur. Les deux peuvent utiliser des approximations et de l’exploration.
Le compromis entre performance et robustesse se choisit en comparant réussite, variance, contraintes, scénarios nouveaux, coût d’échec, énergie et capacité de repli selon la mission.
Optimiser une politique choisit la stratégie ou action selon état et objectif ; régler un contrôleur ajuste gains et paramètres d’une boucle pour suivre une consigne avec stabilité et limites.
Optimiser une politique consiste à ajuster la règle ou le comportement qui choisit les actions d’un robot pour améliorer un objectif mesuré sous contraintes, données et scénarios définis.
Pour éviter qu’une politique exploite une faille d’évaluation, on varie scénarios, mesure contraintes réelles, audite récompense et instrumentation, puis on teste généralisation et comportements inattendus.
Une politique de référence permet de comparer gains, régressions, stabilité, coût, incidents et généralisation et fournit un repli lorsque l’optimisation produit un comportement incertain.
Deux algorithmes de renforcement se comparent sur les mêmes environnements, budgets de calcul et critères de sécurité, avec plusieurs graines et des essais hors entraînement. Il faut mesurer robustesse et coût, pas seulement la…
Après déploiement, une politique de renforcement se surveille par ses actions, états, récompenses, limites franchies, interventions et performances par scénario. Toute dérive doit pouvoir déclencher une limitation ou un retour en arrière.
On sécurise l’exploration du Q-learning en bornant les actions, en surveillant les états dangereux et en laissant un contrôleur fiable reprendre la main à tout moment.
Une question plus précise ?