Építek egy ETL adatfolyamot, amely megbízhatóan mozgatja az adatokat a rendszerei között

Miről van szó

Egy megbízható adatfolyam a már futó rendszerei között: adatbázisból raktárba, CRM-ből jelentésbe, API-ból táblázatba, vagy mindhárom. A feladat nem az ideális eset – minden eszköz egyszer tud sorokat másolni. A feladat az, ami a negyvenedik napon történik, amikor egy token lejár hajnali 2-kor, egy forrás hozzáad egy nullázható oszlopot, vagy a hálózat megszakad a köteg közepén.

Hogyan építem

A kinyerés, betöltés és átalakítás külön lépések, mert különböző okokból hibáznak, és eltérően kell újrapróbálni őket. A kinyerés rögzít egy kurzort vagy vízjelet, így az újraindítás folytatódik a duplikálás helyett. A betöltés tranzakción belül fut kötegenként, így egy összeomlás konzisztens állapotban hagyja a célhelyet, nem pedig félig megírva. Az átalakítás verziózott SQL-ben vagy Pythonban él, nem egy vizuális szerkesztőben, ahol hat hónap múlva senki sem tudja elolvasni.

Minden futás egy manifestet ír: olvasott sorok, írt sorok, elutasított sorok, és az elutasítás oka. Az idempotenciát egy természetes kulcs és egy hash biztosítja, így a tegnapi feladat újraindítása ártalmatlan. A séma változásokat a betöltés megszakítása előtt észleli, és riasztást küld, ahelyett, hogy csendben hibázna.

Amit kapsz

• Adatfolyam kód a repositoryjában, valós adatok mintáján futó tesztekkel.
• Egy ütemező: cron, systemd időzítő, Airflow vagy Prefect, a stackjétől függően.
• Monitorozás és riasztás a sorok számáról, hibákról és késleltetési eltérésekről.
• Egy futáskönyv, amely tartalmazza az újrajátszást, a visszatöltést és az új forrás hozzáadását.

Amire szükségem van Öntől

A forrás- és célrendszerek olvasási hitelesítő adatokkal, egy működő adatpéldával és a ténylegesen szükséges ütemezéssel, nem azzal, amelyik lenyűgözően hangzik.

Átfutási idő és kommunikáció

Az első működő adatfolyam általában öt napon belül elkészül, egy staging futással, amelyet ellenőrizhet, mielőtt élesbe kerülne. Minden mérföldkőnél rövid írásos frissítést küldök a megbeszélések láncolata helyett, és minden, az adatait érintő döntés – megőrzés, visszatöltési ablak, mi történik az elutasított sorokkal – le van írva, ahol később megtalálhatja. Ha valamit nem lehet megbízhatóvá tenni a rendelkezésre álló időben, azt elég korán megtudja ahhoz, hogy módosítsa a tervet, ahelyett, hogy a bevezetéskor fedezné fel.