Les commandes par voix et gestes permettent d’exprimer intention, objet ou direction avec parole, mouvement ou combinaison des deux. Le robot interprète ces signaux avec leur contexte et leur incertitude.
Une commande vocale sûre sépare écoute, compréhension et exécution, authentifie lorsque nécessaire, confirme les actions sensibles et conserve un arrêt local indépendant de la voix.
Face à une contradiction voix-geste, le robot signale les interprétations possibles, demande une clarification ou applique la règle de sécurité prévue. Il n’exécute pas une action ambiguë par arbitrage silencieux.
Un robot comprend un geste de pointage en détectant bras, main ou direction, en choisissant un repère et en reliant le rayon supposé aux objets visibles.
On évalue une interaction voix-gestes avec des locuteurs, accents, bruits, distances, éclairages et gestes variés, en mesurant compréhension, erreurs et effort.