Comment gérer une récompense retardée dans un robot ?
Réponse rapide
Une récompense retardée est attribuée longtemps après les actions qui ont préparé le résultat. On conserve alors l’historique, on découpe la tâche ou l’on ajoute des signaux intermédiaires prudents pour relier la réussite finale aux décisions pertinentes.
Repérer le délai
La livraison d’un objet ou l’achèvement d’une inspection peut survenir après des centaines d’actions. Sans mémoire, l’agent ne sait pas quelles décisions ont réellement contribué à l’issue.
Attribuer le mérite
Une trace d’états et d’actions permet de propager le retour vers les étapes antérieures. La décomposition en sous-tâches, comme atteindre une zone puis saisir, fournit aussi des jalons observables.
Ne pas récompenser un faux progrès
Les signaux intermédiaires doivent rester cohérents avec la réussite finale. On vérifie qu’un détour ou une action facile ne devient pas plus rentable que la mission complète.
Sources et références
- [1] Robotics and Autonomous Systems — NIST