Comment tester un agent qui dispose d’outils robotiques ?
Réponse rapide
Un agent doté d’outils se teste sur compréhension, sélection, paramètres, refus, répétition, erreur et reprise dans des scénarios simulés puis représentatifs. Les actions sont contrôlées indépendamment de la sortie textuelle.
Tester la chaîne normale
Demande, outil, paramètres, préconditions et résultat sont comparés à une référence. Les appels inutiles ou multiples sont comptés avec la réussite de la tâche.
Provoquer les refus
Ambiguïté, permission manquante, énergie faible, cible absente, valeur hors plage et outil indisponible sont injectés. L’agent doit expliquer, demander ou choisir une alternative sûre.
Vérifier l’après-erreur
Timeout, résultat partiel, doublon, perte de liaison et annulation sont rejoués. Contrôle indépendant confirme qu’aucune action interdite ne s’est produite.
Sources et références
- [1] Robotics and Autonomous Systems — NIST