Les démonstrations humaines peuvent initialiser une politique, définir contraintes ou guider exploration, mais elles doivent être nettoyées, annotées et vérifiées avant apprentissage autonome.
Évaluer une politique apprise par Q-learning demande scénarios séparés, comparaison à une référence, mesures de réussite, coût, robustesse, contraintes, généralisation et pire cas.
La mise à jour Q-learning rapproche la valeur d’une action de la récompense immédiate plus la meilleure valeur future, pondérée par le taux d’apprentissage et l’actualisation.
Une récompense de tâche est une mesure numérique qui indique à un robot si une transition ou un résultat rapproche l’exécution de l’objectif défini.
Une récompense fidèle à une tâche robotique relie succès mesurable, contraintes, qualité et coût d’échec au comportement souhaité, puis est testée contre des stratégies indésirables.
Une récompense dense fournit des indications fréquentes pendant la tâche ; une récompense sparse ne signale principalement que succès ou échec, avec exploration plus difficile mais moins d’hypothèses intermédiaires.
La sécurité s’intègre à une récompense par contraintes, pénalités fortes ou actions interdites, mais elle doit aussi être garantie par un contrôleur ou arbitre indépendant de l’apprentissage.
Pour vérifier qu’une récompense n’encourage pas un comportement indésirable, on compare score et trajectoire, cherche des raccourcis, varie scénarios, audite métriques et teste une politique de référence.
Une politique MDP devient utilisable sur un robot réel après validation hors ligne et en simulation, bornage des actions, contrôleur de sécurité, surveillance des états et progression par essais à énergie limitée.
Une récompense MDP relie chaque transition au résultat utile, au coût et au risque de la tâche. Elle doit décourager les raccourcis dangereux et rester cohérente avec les critères mesurés sur le robot.
L’hypothèse de Markov signifie que l’état courant contient toute l’information nécessaire pour prédire les transitions et récompenses futures, sans devoir conserver tout l’historique.
Le Q-learning apprend directement une valeur d’action et choisit souvent par maximisation, tandis que l’acteur-critique apprend explicitement une politique et un évaluateur. Les deux peuvent utiliser des approximations et de l’exploration.