Le robot capture le signal, réduit le bruit, estime une transcription puis interprète intention et paramètres. Il n’exécute que si confiance et contexte suffisent ; sinon il reformule ou demande une confirmation.
Des signaux multimodaux sont synchronisés par timestamps, fenêtres de corrélation, latences calibrées, horloge commune et conservation de l’incertitude lorsque leur origine ou ordre reste ambigu.
La vision et le langage en robotique associent perception visuelle et compréhension d’instructions pour relier une scène, des objets et une intention. Cette association doit rester séparée de la commande physique directe.
Pour séparer des vibrations de machines, on mesure plusieurs points, caractérise fréquences et chemins mécaniques, puis estime les composantes en vérifiant résonance, charge et changement de régime.
Pour résoudre « ici », un robot combine position du locuteur, geste ou regard, carte, repères partagés, contexte de tâche et visibilité, puis confirme si plusieurs lieux restent possibles.
Un robot relie une demande à la tâche en cours en comparant intention, objets, lieux, autorisation, étape active, ressources et conséquences avec son état courant.
Un robot signale son incertitude dans un dialogue situé pour éviter une action fondée sur un objet, lieu, locuteur ou objectif mal identifié et permettre correction ou confirmation.
Tester un dialogue situé sans risque exige simulation et banc, scénarios d’ambiguïté et d’échec, commandes fictives, limites d’action et validation avant tout mouvement réel.
La perception audio permet à un robot d’estimer présence, direction, type, distance ou événement sonore à partir de microphones et de modèles du signal.
Pour distinguer une alarme d’un bruit de moteur, le robot combine spectre, durée, répétition, direction, contexte machine et modèles appris, puis vérifie avec d’autres capteurs.
La détection indique qu’un son est présent, la localisation estime d’où il vient et la reconnaissance identifie sa classe ou sa signification pour la tâche.
Rendre une perception audio robuste demande calibration, données variées, adaptation au bruit et à l’acoustique, suivi de confiance et repli quand le contexte sort du domaine validé.