Réponse rapide
La qualité d’une réponse RAG se mesure par pertinence des passages, exactitude, complétude, fidélité aux sources, fraîcheur, abstention, compréhension opérateur et absence d’action dangereuse.
Avertissement de sécurité
Une métrique de pertinence ne prouve pas qu’une réponse est sûre à exécuter. Évaluez aussi versions, limites, délai, opérateur et conséquences de l’erreur.
Jeu
Construisez questions réelles, documents présents ou absents, versions concurrentes, ambiguïtés et procédures critiques avec réponses de référence. Séparez test et réglage.
Évaluer
Notez récupération, citation, étapes, unités, limites, confiance, délai et appel d’outil, puis faites relire des opérateurs. Une réponse bien citée peut rester inapplicable.
Décider
Fixez seuils pour lecture, confirmation, limitation et refus. Les échecs critiques bloquent le déploiement et alimentent correction de source ou index.
Sources et références
- [1] AI Risk Management Framework — NIST