Comment empêcher les doublons de données dans un pipeline robotique ?

Ne pas compter deux fois la même mesure

Après une reconnexion, le même scan peut être renvoyé; son identifiant permet de l’ignorer plutôt que de fausser la carte.

Fiabiliser un journal

Le pipeline vérifie clé et fenêtre temporelle, conserve les doublons pour audit et ne transmet qu’une occurrence au modèle.

Deux mesures différentes peuvent partager un timestamp arrondi

Identifiant, horloge, fenêtre, source, stratégie de reprise, rejet et audit doivent être documentés.

Sources et références

1. [1] Common pitfalls and recommended practices — scikit-learn — scikit-learn
2. [2] DVC Documentation — Iterative

Questions liées

• Qu’est-ce qu’un pipeline de données pour un robot ?
• Pourquoi valider le schéma des données avant de les donner à un modèle robotique ?
• Pourquoi rendre un pipeline de données rejouable ?
• Comment arrêter un pipeline de données lorsqu’un contrôle échoue ?

Cette réponse vous a-t-elle été utile ?

OuiNon

Commentaire facultatif