Réponse rapide
Une génération augmentée pour aide robotique se teste sur récupération, fidélité des citations, exactitude, abstention, latence et réaction aux sources absentes ou contradictoires, avec questions représentatives.
Mesurer le contexte trouvé
Pertinence, couverture, fraîcheur, autorité et passage utile sont évalués avant la génération. Les requêtes difficiles et les entités proches sont incluses.
Vérifier la fidélité
Chaque affirmation est comparée aux sources avec portée et version. Erreur, omission, citation fausse et abstention sont comptées séparément.
Tester l’usage réel
Latence, données manquantes, contradiction, demande ambiguë et conversion en action sont observées. Autorisation et protections locales restent indépendantes du texte produit.
Sources et références
- [1] Robotics and Autonomous Systems — NIST