Comment évaluer un système de dialogue pour robot ?
Mise à jour29 août 2026
Lecture1 minute
Réponse rapide
Un dialogue robotique s’évalue par compréhension, clarifications, erreurs, temps de réponse, récupération après incompréhension et satisfaction. Les scénarios couvrent accents, bruit, formulations variées et demandes contradictoires.
Mesurer le sens compris
Intentions, objets, contraintes et références sont comparés à une annotation indépendante. Une réponse plausible mais dirigée vers la mauvaise cible est comptée comme erreur.
Tester les conditions réelles
Bruit, débit, accent, interruption, silence et changement de sujet sont injectés. Le système doit demander, corriger ou refuser sans boucler indéfiniment.
Observer la reprise
Temps jusqu’à la tâche réussie, nombre de tours, abandons et demandes d’aide complètent l’exactitude. Les personnes expliquent si le robot était compréhensible et prévisible.
Sources et références
- [1] AI Risk Management Framework — NIST