Réponse rapide
Un robot ancre une instruction dans une image en reliant les mots à des régions, objets et relations observables, puis en vérifiant que ces éléments satisfont le contexte de la tâche.
Résoudre les expressions
« Cette boîte » ou « à gauche » sont interprétés par rapport aux détections, au point de vue et à l’historique récent. Plusieurs candidats restent possibles lorsque la scène ne tranche pas.
Tester l’ancrage
Le système vérifie catégorie, position, état et accessibilité avant de créer une action. Une demande de clarification vaut mieux qu’une sélection silencieuse du mauvais objet.
Produire une représentation exploitable
L’ancrage fournit une entité, une zone ou une relation avec confiance et provenance. Le planificateur peut alors appliquer ses propres contraintes géométriques et de sécurité.
Sources et références
- [1] Robotics and Autonomous Systems — NIST