Domaine
Processus de décision markovien
Questions et réponses classées dans ce domaine de la robotique et de l’intelligence artificielle.
-
Qu’est-ce qu’un processus de décision markovien pour un robot ?
Un processus de décision markovien modélise un robot par états, actions, transitions probabilistes, récompenses et horizon ou facteur d’actualisation afin de choisir une politique dans un environnement incertain.
-
Que signifie l’hypothèse de Markov pour un robot ?
L’hypothèse de Markov signifie que l’état courant contient toute l’information nécessaire pour prédire les transitions et récompenses futures, sans devoir conserver tout l’historique.
-
Comment définir une récompense pour un robot dans un modèle markovien ?
Une récompense MDP relie chaque transition au résultat utile, au coût et au risque de la tâche. Elle doit décourager les raccourcis dangereux et rester cohérente avec les critères mesurés sur le robot.
-
Comment résoudre un processus de décision markovien ?
On résout un MDP par programmation dynamique, recherche, optimisation ou apprentissage afin d’obtenir une valeur ou une politique, puis on vérifie la solution sur des transitions et contraintes représentatives.
-
Comment rendre une politique MDP sûre sur un robot réel ?
Une politique MDP devient utilisable sur un robot réel après validation hors ligne et en simulation, bornage des actions, contrôleur de sécurité, surveillance des états et progression par essais à énergie limitée.