Réponse rapide
Une interaction multimodale combine parole, texte, geste, regard, toucher, mouvement ou signaux lumineux pour comprendre une demande et répondre de façon coordonnée, avec des modalités de secours.
Associer les signaux
Chaque modalité fournit contenu, timing, qualité et ambiguïté. Le système conserve la provenance plutôt que de mélanger des informations incompatibles.
Répondre clairement
Voix, écran, geste et trajectoire sont choisis selon attention, bruit, accessibilité et risque. Le signal correspond à l’action réelle du robot.
Continuer sans une modalité
Perte d’audio, vision ou tactile déclenche alternative, confirmation ou abstention. Une modalité critique n’est pas supposée disponible sans mesure.
Sources et références
- [1] Robotics and Autonomous Systems — NIST