Réponse rapide
Évaluer la qualité des décisions autonomes d’un robot exige de mesurer objectif atteint, sécurité, respect des contraintes, temps, énergie, interventions, abstentions, erreurs et capacité de reprise sur des situations variées. Les décisions sont comparées à une référence humaine ou à une règle lorsque celle-ci est pertinente. Une décision souvent correcte mais dangereuse dans un cas rare n’est pas de qualité suffisante.
Définir critères et scénarios
Nominal, perturbé, hors domaine, charge, personnes, capteurs et modes de panne sont représentés. On mesure choix, conséquence physique, marge, latence et confiance par cas. Les événements d’abstention et de demande d’aide sont considérés comme résultats.
Tester dans la boucle réelle
Simulation, banc, opérateur et terrain contrôlé relient décision à mouvement, outil et environnement. Les versions, données et limites sont figées. Une dégradation entraîne réduction de périmètre ou nouvelle validation.
Ne pas réduire la qualité au taux de réussite
Réussite peut cacher effort excessif, exposition, contournement ou absence de repli. Coût d’erreur et possibilité de récupération sont inclus. Une moyenne ne masque pas un cas critique.
Sources et références
- [1] Trustworthy autonomous systems — NIST