Réponse rapide
Une récompense dense fournit des indications fréquentes pendant la tâche ; une récompense sparse ne signale principalement que succès ou échec, avec exploration plus difficile mais moins d’hypothèses intermédiaires.
Dense ne signifie pas fidèle
Une récompense fréquente peut favoriser immobilité, oscillation ou contournement. Vérifiez le comportement final et gardez contraintes séparées.
Comparer l’apprentissage
Dense accélère parfois crédit et orientation mais peut imposer un biais ; sparse respecte mieux l’objectif final mais demande exploration ou démonstrations.
Vérifier le signal
Une récompense intermédiaire ne doit pas encourager raccourci, immobilité, oscillation ou action contraire au résultat final.
Combiner sans trahir
Utilisez étapes, curriculum, récompense terminale et contraintes séparées et évaluez la politique sur comportements et réussite réelle.
Sources et références
- [1] Robotics and Autonomous Systems — NIST