Des signaux multimodaux sont synchronisés par timestamps, fenêtres de corrélation, latences calibrées, horloge commune et conservation de l’incertitude lorsque leur origine ou ordre reste ambigu.
La vision et le langage en robotique associent perception visuelle et compréhension d’instructions pour relier une scène, des objets et une intention. Cette association doit rester séparée de la commande physique directe.
Pour synchroniser parole et geste, le robot partage une horloge et un identifiant d’intention, planifie timing et durée, puis vérifie que le geste et le message désignent le même objet ou action.
Une interaction multimodale combine parole, texte, geste, regard, toucher, mouvement ou signaux lumineux pour comprendre une demande et répondre de façon coordonnée, avec des modalités de secours.
Les commandes par voix et gestes permettent d’exprimer intention, objet ou direction avec parole, mouvement ou combinaison des deux. Le robot interprète ces signaux avec leur contexte et leur incertitude.
Une commande vocale sûre sépare écoute, compréhension et exécution, authentifie lorsque nécessaire, confirme les actions sensibles et conserve un arrêt local indépendant de la voix.
Face à une contradiction voix-geste, le robot signale les interprétations possibles, demande une clarification ou applique la règle de sécurité prévue. Il n’exécute pas une action ambiguë par arbitrage silencieux.
Une interaction multimodale accessible laisse plusieurs façons de comprendre et commander le robot, avec des retours visuels, sonores ou tactiles adaptés aux capacités et au contexte de chacun.
La charge cognitive mesure l’effort demandé à une personne pour comprendre, décider et agir pendant l’interaction ; on l’évalue par temps, erreurs, interruptions et retours utilisateurs.
Combiner parole, geste et regard permet de lever les ambiguïtés : les modalités se complètent lorsque l’une est bruyante, masquée ou imprécise.
Un robot ancre une instruction dans une image en reliant les mots à des régions, objets, relations et repères spatiaux observés, avec une confiance et des alternatives.
On utilise le langage pour commander un robot sans danger en limitant les actions autorisées, en demandant confirmation pour les ordres risqués et en traduisant la phrase en contraintes vérifiables.