Plusieurs robots explorateurs se coordonnent en partageant cartes, zones, états et contraintes, en répartissant les objectifs sans conflit et en prévoyant un comportement sûr lorsque le réseau ou un robot manque.
Une récompense retardée est attribuée longtemps après les actions qui ont préparé le résultat. On conserve alors l’historique, on découpe la tâche ou l’on ajoute des signaux intermédiaires prudents pour relier la réussite finale…
Après déploiement, une politique de renforcement se surveille par ses actions, états, récompenses, limites franchies, interventions et performances par scénario. Toute dérive doit pouvoir déclencher une limitation ou un retour en arrière.
Deux algorithmes de renforcement se comparent sur les mêmes environnements, budgets de calcul et critères de sécurité, avec plusieurs graines et des essais hors entraînement. Il faut mesurer robustesse et coût, pas seulement la…
L’apprentissage par renforcement fait essayer au robot des actions, observe leurs conséquences et ajuste une politique selon une récompense, plutôt que de lui fournir chaque trajectoire.
On apprend une politique robotique sans exposer le matériel en combinant simulation, démonstrations, limites de sécurité, essais graduels et arrêt indépendant de l’algorithme.
Une récompense utile décrit le résultat réellement attendu et pénalise les effets indésirables, au lieu de récompenser un indicateur facile à détourner.
Évaluer une politique apprise par renforcement avant déploiement demande de vérifier objectif, contraintes, cas rares, stabilité et réaction aux situations non prévues sur un périmètre limité.
Surveiller une politique d’apprentissage par renforcement pendant son exécution consiste à contrôler ses actions, sa confiance, ses récompenses et le respect des limites prévues.
Le Q-learning apprend la valeur d’une action dans un état en comparant ses récompenses, avec une exploration bornée et des garde-fous avant tout essai réel.
Le Q-learning est difficile sur un robot réel parce que chaque essai coûte du temps, use le matériel et peut provoquer une collision avant que la stratégie soit apprise.
On sécurise l’exploration du Q-learning en bornant les actions, en surveillant les états dangereux et en laissant un contrôleur fiable reprendre la main à tout moment.