Vytvořím datový kanál ETL, který spolehlivě přesouvá data mezi vašimi systémy

Co to je

Spolehlivý kanál mezi systémy, které již provozujete: databáze do skladu, CRM do reportingu, API do tabulky nebo všechny tři. Úkolem není šťastná cesta – každý nástroj může jednou zkopírovat řádky. Úkolem je, co se stane čtyřicátý den, když ve 2 ráno vyprší token, zdroj přidá sloupec s možnou hodnotou null nebo se síť přeruší v polovině dávky.

Jak to stavím

Extrakce, načítání a transformace jsou samostatné kroky, protože selhávají z různých důvodů a měly by být opakovány odlišně. Extrakce zaznamenává kurzor nebo vodoznak, takže restart pokračuje namísto duplikace. Načítání probíhá v rámci transakce pro každou dávku, takže pád zanechá cíl konzistentní, nikoli napůl zapsaný. Transformace žije ve verzovaném SQL nebo Pythonu, nikoli uvnitř vizuálního editoru, kde ji nikdo nemůže přečíst o šest měsíců později.

Každé spuštění zapíše manifest: přečtené řádky, zapsané řádky, odmítnuté řádky a důvod každého odmítnutí. Idempotence je vynucena přirozeným klíčem plus hashem, takže opakované spuštění včerejší úlohy je neškodné. Změny schématu jsou detekovány dříve, než naruší načítání, a upozorní, namísto tichého selhání.

Co získáte

• Kód kanálu ve vašem úložišti, s testy proti vzorku skutečných dat.
• Plánovač: cron, časovač systemd, Airflow nebo Prefect v závislosti na vašem zásobníku.
• Monitorování a upozorňování na počty řádků, selhání a odchylky latence.
• Provozní příručka pokrývající přehrávání, doplňování a způsob přidání nového zdroje.

Co od vás potřebuji

Zdrojové a cílové systémy s pověřeními pro čtení, jeden funkční příklad dat a plán, který skutečně potřebujete, spíše než ten, který zní působivě.

Doba realizace a komunikace

První funkční kanál obvykle do pěti dnů, se zkušebním spuštěním, které můžete zkontrolovat, než se dotkne produkce. Posílám krátkou písemnou aktualizaci u každého milníku namísto řetězce schůzek a každé rozhodnutí, které ovlivňuje vaše data – uchovávání, okno pro doplňování, co se stane s odmítnutými řádky – je zapsáno tam, kde ho později najdete. Pokud něco nelze v dostupném čase učinit spolehlivým, dozvíte se to dostatečně brzy, abyste mohli změnit plán, namísto abyste to zjistili při spuštění.