Comment surveiller la qualité d’un modèle lorsque les étiquettes arrivent en retard ?

Observer avant de connaître le verdict

Confiance, taux de refus, distribution des entrées et interventions opérateur donnent des signaux précoces.

Évaluer un tri de colis

Les retours clients arrivent une semaine après la livraison ; entre-temps, une hausse des rejets et des corrections manuelles signale une dégradation.

Un indicateur indirect n’est pas une preuve

Bruit, changement d’équipe ou flux différent peuvent produire le même signal. Les étiquettes tardives doivent confirmer ou réfuter l’alerte.

Sources et références

1. [1] Metrics and scoring: quantifying the quality of predictions — scikit-learn
2. [2] AI Risk Management Framework — NIST

Questions liées

• Quelle différence existe entre dérive des données et dérive du concept pour un robot ?
• Comment choisir un seuil d’alerte de dérive pour un modèle robotique ?
• Que faire lorsqu’une alerte de dérive touche une fonction critique du robot ?
• Pourquoi surveiller la dérive par classe ou par contexte plutôt que seulement en moyenne ?

Cette réponse vous a-t-elle été utile ?

OuiNon

Commentaire facultatif