Comment relier un mot prononcé à un objet vu par un robot ?
Réponse rapide
Le robot associe un mot à un objet en combinant reconnaissance de la parole, perception visuelle, contexte spatial et historique du dialogue. Il vérifie l’ambiguïté lorsque plusieurs objets conviennent.
Recenser les candidats
Caméra, profondeur et localisation décrivent les objets visibles avec leur position et leur confiance. Les catégories ou attributs mentionnés dans la phrase réduisent l’ensemble des candidats.
Utiliser le dialogue
“Celui de gauche” dépend du point de vue, de la scène et des objets déjà nommés. Le robot rend son repère explicite lorsque l’interprétation n’est pas certaine.
Éviter la fausse évidence
Deux objets semblables déclenchent une question ou une mise en évidence visuelle. L’association retenue est confirmée avant une prise, un déplacement ou une autre action engageante.
Sources et références
- [1] AI Risk Management Framework — NIST