Réponse rapide
Surveiller la confiance d’un réseau neuronal utilisé par un robot consiste à suivre calibration, distribution des entrées, marge entre classes, abstentions, incohérences temporelles et conséquences des décisions. Un score élevé n’est pas une preuve de vérité ; il est comparé à des cas connus, à des capteurs et à la distance d’arrêt. Une confiance faible ou mal calibrée déclenche une réponse bornée.
Relier score et fiabilité observée
Calibration, couverture, erreur conditionnelle, entropie, ensemble de modèles ou distance au domaine sont mesurés sur données représentatives. Lumière, bruit, température et version sont suivis. Les seuils dépendent de la tâche et du risque.
Utiliser l’abstention et la vérification
Le robot peut ralentir, demander un autre point de vue, croiser un capteur ou passer à une règle. L’interface indique confiance, source et action décidée sans inventer une certitude. Les événements d’incertitude sont examinés après mission.
Ne pas transformer un pourcentage en permission d’agir
Confiance peut être élevée hors distribution ou après une erreur de calibration. Les valeurs et conditions sont contrôlées. Une fonction critique conserve une limite indépendante du score.
Sources et références
- [1] Artificial intelligence and robotics — NIST