Une instruction ambiguë doit rester en attente : le système énumère les interprétations plausibles, demande l’information qui manque ou choisit une action réversible explicitement autorisée.
Vision-langage désigne souvent un modèle qui traite conjointement image et texte, tandis que « vision et langage en robotique » désigne plus largement toute chaîne reliant perception, consigne et action.
On relie un modèle vision-langage à une tâche robotique en transformant sa réponse en objectifs et contraintes vérifiables, puis en laissant un planificateur et un contrôleur valider l’exécution.
On évalue une réponse vision-langage avant action robotique en vérifiant objet, relation, intention, confiance, contraintes physiques et refus sur les scènes hors domaine.
On documente les limites d’un système vision-langage robotique en décrivant domaine, données, langues, éclairages, objets inconnus, latence, erreurs et actions interdites.