Réponse rapide
L’hypothèse de Markov signifie que l’état courant contient toute l’information nécessaire pour prédire les transitions et récompenses futures, sans devoir conserver tout l’historique.
Construire un état suffisant
Vitesse, charge, mémoire de mission, objets cachés et qualité de mesure peuvent être nécessaires. Un état trop pauvre fait dépendre la décision d’un historique oublié.
Tester la propriété
Des épisodes ayant le même état apparent sont comparés pour voir si leurs suites diffèrent systématiquement. Si oui, l’état ou la mémoire doit être enrichi.
Gérer l’observation partielle
Filtre, historique court ou état de croyance représentent l’information manquante. Le robot conserve alors une incertitude au lieu d’appliquer Markov à tort.
Sources et références
- [1] Robotics and Autonomous Systems — NIST