Réponse rapide
Pour empêcher un code généré de contourner une sécurité, on sépare fonctions critiques, impose interfaces et invariants, bloque les permissions dangereuses, analyse les changements et vérifie l’arrêt par une voie indépendante.
Isoler les protections
Limites, arrêt d’urgence et supervision ne peuvent pas être désactivés par une fonction applicative. Les API critiques refusent valeurs et états non sûrs.
Revoir les modifications
Diff, analyse statique, tests de propriétés et revue ciblée recherchent contournement, élévation de droits et désactivation de watchdog.
Prouver le repli
Capteur absent, timeout, commande extrême et exception sont injectés. Le robot doit limiter ou arrêter même si le code généré se comporte mal.
Sources et références
- [1] Robotics and Autonomous Systems — NIST