Je vais construire un pipeline de données ETL qui déplace les données entre vos systèmes de manière fiable

Ce que c'est

Un pipeline fiable entre les systèmes que vous utilisez déjà: base de données vers entrepôt, CRM vers rapports, API vers feuille de calcul, ou les trois. Le travail n'est pas le chemin heureux — chaque outil peut copier des lignes une fois. Le travail est ce qui se passe le quarantième jour lorsqu'un jeton expire à 2h du matin, qu'une source ajoute une colonne nullable, ou que le réseau tombe en panne au milieu d'un lot.

Comment je le construis

L'extraction, le chargement et la transformation sont des étapes distinctes, car elles échouent pour des raisons différentes et doivent être relancées différemment. L'extraction enregistre un curseur ou un filigrane afin qu'un redémarrage reprenne au lieu de dupliquer. Le chargement s'exécute dans une transaction par lot, de sorte qu'un crash laisse la destination cohérente plutôt qu'à moitié écrite. La transformation réside dans du SQL ou du Python versionné, et non dans un constructeur visuel où personne ne peut le lire six mois plus tard.

Chaque exécution écrit un manifeste: lignes lues, lignes écrites, lignes rejetées et la raison de chaque rejet. L'idempotence est appliquée avec une clé naturelle plus un hachage, de sorte que la réexécution du travail d'hier est inoffensive. Les changements de schéma sont détectés avant qu'ils ne rompent un chargement, et ils alertent plutôt que d'échouer silencieusement.

Ce que vous obtenez

• Code de pipeline dans votre référentiel, avec des tests sur un échantillon de données réelles.
• Un planificateur: cron, timer systemd, Airflow ou Prefect selon votre pile.
• Surveillance et alertes sur les nombres de lignes, les échecs et les dérives de latence.
• Un guide d'exécution couvrant la relecture, le rattrapage et comment ajouter une nouvelle source.

Ce dont j'ai besoin de vous

Les systèmes source et de destination avec des identifiants de lecture, un exemple fonctionnel des données, et le calendrier dont vous avez réellement besoin plutôt que celui qui semble impressionnant.

Délai et communication

Le premier pipeline fonctionnel est généralement livré dans les cinq jours, avec une exécution de staging que vous pouvez inspecter avant qu'elle n'atteigne la production. J'envoie une brève mise à jour écrite à chaque étape plutôt qu'une série de réunions, et chaque décision qui affecte vos données — rétention, fenêtre de rattrapage, ce qui arrive aux lignes rejetées — est consignée là où vous pourrez la retrouver plus tard. Si quelque chose ne peut pas être rendu fiable dans le temps imparti, vous en êtes informé suffisamment tôt pour modifier le plan au lieu de le découvrir au lancement.