La vision et le langage en robotique associent perception visuelle et compréhension d’instructions pour relier une scène, des objets et une intention. Cette association doit rester séparée de la commande physique directe.
Un robot ancre une instruction dans une image en reliant les mots à des régions, objets, relations et repères spatiaux observés, avec une confiance et des alternatives.
On utilise le langage pour commander un robot sans danger en limitant les actions autorisées, en demandant confirmation pour les ordres risqués et en traduisant la phrase en contraintes vérifiables.
On évalue un modèle vision-langage pour un robot avec images et consignes variées, erreurs d’ancrage, ambiguïtés, latence, refus appropriés et conséquences sur l’action.
On gère les biais d’un système vision-langage robotique en variant personnes, objets, éclairages et formulations, en mesurant les écarts et en limitant les décisions sensibles.