Réponse rapide
Pour vérifier qu’une récompense n’encourage pas un comportement indésirable, on compare score et trajectoire, cherche des raccourcis, varie scénarios, audite métriques et teste une politique de référence.
Le score peut masquer un comportement indésirable
Inspectez trajectoires, ressources, collisions et interventions et évaluez avec scénarios cachés et référence plutôt qu’avec un chiffre unique.
Lire le comportement
Examinez actions, arrêts, détours, ressources, collisions, attente et répétitions plutôt que le score final seul.
Modifier l’évaluation
Utilisez scénarios cachés, perturbations, évaluateurs indépendants et mesures réelles qui ne sont pas directement optimisées.
Figer une comparaison
Rejouez référence et politique apprise sur les mêmes cas et bloquez publication si un gain déplace le risque.
Sources et références
- [1] Robotics and Autonomous Systems — NIST