Izradit ću ETL podatkovni cjevovod koji pouzdano premješta podatke između vaših sustava

Što je ovo

Pouzdan cjevovod između sustava koje već koristite: baza podataka do skladišta, CRM do izvještavanja, API do proračunske tablice ili sve tri. Posao nije sretan put — svaki alat može kopirati retke jednom. Posao je ono što se događa četrdesetog dana kada token istekne u 2 ujutro, izvor doda stupac koji može biti null ili mreža padne na pola puta kroz seriju.

Kako ga gradim

Ekstrakcija, učitavanje i transformacija su zasebni koraci, jer propadaju iz različitih razloga i trebaju se ponovno pokušati na različite načine. Ekstrakcija bilježi kursor ili vodeni žig tako da se ponovno pokretanje nastavlja umjesto dupliciranja. Učitavanje se izvodi unutar transakcije po seriji, tako da pad ostavlja odredište dosljednim, a ne napola napisanim. Transformacija živi u verziranom SQL-u ili Pythonu, a ne unutar vizualnog graditelja gdje ga nitko ne može pročitati šest mjeseci kasnije.

Svako pokretanje piše manifest: pročitani redovi, zapisani redovi, odbačeni redovi i razlog za svako odbijanje. Idempotencija se provodi prirodnim ključem plus hešom, tako da je ponovno pokretanje jučerašnjeg posla bezopasno. Promjene sheme se otkrivaju prije nego što prekinu učitavanje, i upozoravaju umjesto da tiho propadnu.

Što dobivate

• Kod cjevovoda u vašem repozitoriju, s testovima protiv uzorka stvarnih podataka.
• Raspoređivač: cron, systemd timer, Airflow ili Prefect ovisno o vašem stogu.
• Nadzor i upozoravanje na broj redaka, pogreške i odstupanja latencije.
• Priručnik za rad koji pokriva ponovno reproduciranje, dopunjavanje i kako dodati novi izvor.

Što mi treba od vas

Izvorni i odredišni sustavi s vjerodajnicama za čitanje, jedan radni primjer podataka i raspored koji vam je stvarno potreban, a ne onaj koji zvuči impresivno.

Vrijeme izrade i komunikacija

Prvi radni cjevovod obično unutar pet dana, s probnim pokretanjem koje možete pregledati prije nego što dođe do produkcije. Šaljem kratko pisano ažuriranje na svakoj prekretnici umjesto lanca sastanaka, a svaka odluka koja utječe na vaše podatke — zadržavanje, prozor za dopunjavanje, što se događa s odbačenim redovima — zapisana je tamo gdje je kasnije možete pronaći. Ako se nešto ne može učiniti pouzdanim u dostupnom vremenu, saznat ćete to dovoljno rano da promijenite plan umjesto da to otkrijete pri pokretanju.