Ik bouw een ETL-datapijplijn die gegevens betrouwbaar tussen uw systemen verplaatst

Wat dit is

Een betrouwbare pijplijn tussen de systemen die u al gebruikt: database naar warehouse, CRM naar rapportage, API naar spreadsheet, of alle drie. De taak is niet het 'happy path' — elke tool kan rijen één keer kopiëren. De taak is wat er gebeurt op dag veertig wanneer een token om 2 uur 's nachts verloopt, een bron een nullable kolom toevoegt, of het netwerk halverwege een batch uitvalt.

Hoe ik het bouw

Extractie, laden en transformatie zijn afzonderlijke stappen, omdat ze om verschillende redenen mislukken en anders moeten worden geprobeerd. Extractie registreert een cursor of watermerk, zodat een herstart wordt hervat in plaats van te dupliceren. Laden gebeurt binnen een transactie per batch, zodat een crash de bestemming consistent laat in plaats van half geschreven. Transformatie leeft in versiebeheerde SQL of Python, niet binnen een visuele bouwer waar niemand het zes maanden later kan lezen.

Elke run schrijft een manifest: gelezen rijen, geschreven rijen, afgewezen rijen en de reden voor elke afwijzing. Idempotentie wordt afgedwongen met een natuurlijke sleutel plus een hash, dus het opnieuw uitvoeren van de taak van gisteren is onschadelijk. Schemawijzigingen worden gedetecteerd voordat ze een lading breken, en ze waarschuwen in plaats van stilzwijgend te falen.

Wat u krijgt

• Pijplijncode in uw repository, met tests tegen een voorbeeld van echte gegevens.
• Een scheduler: cron, systemd timer, Airflow of Prefect, afhankelijk van uw stack.
• Monitoring en waarschuwingen over rijtellingen, storingen en latentieverschuivingen.
• Een draaiboek met betrekking tot herhaling, backfill en hoe een nieuwe bron toe te voegen.

Wat ik van u nodig heb

De bron- en doelsystemen met leesrechten, één werkend voorbeeld van de gegevens en het schema dat u daadwerkelijk nodig hebt in plaats van het schema dat indrukwekkend klinkt.

Doorlooptijd en communicatie

De eerste werkende pijplijn is meestal binnen vijf dagen klaar, met een staging-run die u kunt inspecteren voordat deze de productie raakt. Ik stuur bij elke mijlpaal een korte schriftelijke update in plaats van een reeks vergaderingen, en elke beslissing die uw gegevens beïnvloedt — retentie, backfill-venster, wat er gebeurt met afgewezen rijen — wordt opgeschreven waar u het later kunt vinden. Als iets niet betrouwbaar kan worden gemaakt in de beschikbare tijd, hoort u dit vroeg genoeg om het plan te wijzigen in plaats van het bij de lancering te ontdekken.