Réponse rapide
Valider la compréhension du langage avant un usage robotique demande de tester formulations, accents, bruit, ambiguïtés, commandes inconnues, contexte, latence et pertes de réseau dans la boucle complète. Intention, entités, clarification, refus et repli sont comparés aux exigences de la tâche.
Rejouer des commandes variées
Plusieurs utilisateurs expriment les mêmes intentions dans les scènes et états de mission prévus. Accents, débit, bruit, langues et formulations elliptiques sont inclus.
Tester les erreurs critiques
Intention fausse, entité absente, modèle indisponible, contexte contradictoire et commande dangereuse doivent produire question, refus, action réversible ou arrêt.
Comparer les indicateurs
Exactitude d’intention, extraction d’entités, calibration, latence, taux de clarification et erreurs critiques sont mesurés par contexte. Nouvelle langue, tâche ou interface impose une validation.
Sources et références
- [1] Robotics and Autonomous Systems — NIST