Réponse rapide
Les hallucinations d’une IA générative se limitent en restreignant ses sorties, en fournissant des sources, en validant les faits et en séparant proposition et exécution. Une valeur inventée ne doit jamais être traitée comme une mesure de capteur ou une autorisation de mouvement.
Réduire l’espace de réponse
Schémas, vocabulaires contrôlés et appels d’outils bornés empêchent la génération de commandes arbitraires. Le modèle peut aussi répondre qu’il ne sait pas lorsque les champs nécessaires manquent.
Comparer aux faits
Capteurs, état du robot, documents cités et règles de mission sont vérifiés séparément. Une contradiction bloque l’étape suivante et est enregistrée pour analyse.
Isoler l’actionnement
La sortie générée reste une proposition jusqu’à validation par planificateur, contrôleur et, selon le risque, opérateur. Les limites matérielles restent effectives même si le modèle affirme que l’action est sûre.
Sources et références
- [1] Artificial Intelligence Risk Management Framework (AI RMF 1.0) — NIST
- [2] Transformers Documentation — Hugging Face