Dans un environnement bruyant, on réduit les erreurs vocales par microphones adaptés, filtrage, détection de parole, modèles entraînés sur le bruit réel et confirmation des commandes sensibles.
Une interaction multimodale accessible laisse plusieurs façons de comprendre et commander le robot, avec des retours visuels, sonores ou tactiles adaptés aux capacités et au contexte de chacun.
L’audio aide la navigation en révélant des personnes ou véhicules hors du champ visuel, en indiquant une direction et en signalant un environnement devenu bruyant.
Évaluer une reconnaissance vocale embarquée mesure compréhension, latence, consommation et comportement avec accents, distances, bruits et pertes de réseau.
La charge cognitive mesure l’effort demandé à une personne pour comprendre, décider et agir pendant l’interaction ; on l’évalue par temps, erreurs, interruptions et retours utilisateurs.
Distinguer parole et bruit combine caractéristiques acoustiques, activité vocale et contexte, avec un seuil qui peut laisser passer un bruit plutôt que couper une commande.
Localiser une source sonore consiste à estimer sa direction, parfois sa distance, à partir des différences d’arrivée du son entre plusieurs microphones.
Combiner parole, geste et regard permet de lever les ambiguïtés : les modalités se complètent lorsque l’une est bruyante, masquée ou imprécise.
Évaluer une localisation sonore consiste à comparer la direction estimée à une direction connue, dans plusieurs bruits, distances, pièces et positions du robot.
Combiner son et vision permet au robot de chercher une source audible puis de confirmer visuellement la personne ou l’objet avant d’agir.
Localiser une alarme sonore sans confondre origine et réverbération demande de combiner plusieurs microphones, la géométrie du lieu et la propagation du son, puis d’exprimer l’incertitude.
Un robot estime la direction d’un son en comparant le moment et le niveau auxquels plusieurs microphones le reçoivent, puis en tenant compte de la forme de sa tête et de la pièce.