Réponse rapide
Des signaux multimodaux sont synchronisés par timestamps, fenêtres de corrélation, latences calibrées, horloge commune et conservation de l’incertitude lorsque leur origine ou ordre reste ambigu.
Mesurer
Caractérisez acquisition, traitement, transport et affichage de chaque canal, puis suivez jitter et pertes. Un retard fixe et une absence de signal ne se traitent pas pareil.
Associer
Regroupez parole, geste et regard selon scène, identité incertaine et fenêtre adaptée à la tâche. Vérifiez repères et direction avant d’inférer une cible commune.
Douter
Si ordre ou origine sont indéterminés, reformulez, attendez ou choisissez une action sans risque. Une commande physique ne s’appuie pas sur alignement approximatif.
Sources et références
- [1] Robotics and Autonomous Systems — NIST