Zbuduję potok danych ETL, który niezawodnie przenosi dane między Twoimi systemami

Co to jest

Niezawodny potok między systemami, które już posiadasz: baza danych do hurtowni, CRM do raportowania, API do arkusza kalkulacyjnego lub wszystkie trzy. Praca nie polega na szczęśliwej ścieżce — każde narzędzie może skopiować wiersze raz. Praca polega na tym, co dzieje się czterdziestego dnia, gdy token wygasa o 2 w nocy, źródło dodaje kolumnę z wartością null lub sieć przerywa połączenie w połowie partii.

Jak to buduję

Ekstrakcja, ładowanie i transformacja to oddzielne kroki, ponieważ zawodzą z różnych powodów i powinny być ponawiane w różny sposób. Ekstrakcja rejestruje kursor lub znak wodny, dzięki czemu ponowne uruchomienie wznawia, zamiast duplikować. Ładowanie odbywa się w ramach transakcji na partię, więc awaria pozostawia miejsce docelowe spójne, a nie częściowo zapisane. Transformacja znajduje się w wersjonowanym SQL lub Pythonie, a nie w wizualnym kreatorze, gdzie nikt nie może jej odczytać sześć miesięcy później.

Każde uruchomienie zapisuje manifest: odczytane wiersze, zapisane wiersze, odrzucone wiersze i przyczynę każdego odrzucenia. Idempotencja jest wymuszana za pomocą klucza naturalnego i hasza, więc ponowne uruchomienie wczorajszego zadania jest nieszkodliwe. Zmiany schematu są wykrywane, zanim spowodują błąd ładowania, i są sygnalizowane, zamiast cicho zawodzić.

Co otrzymujesz

• Kod potoku w Twoim repozytorium, z testami na próbce rzeczywistych danych.
• Harmonogram: cron, timer systemd, Airflow lub Prefect, w zależności od Twojego stosu.
• Monitorowanie i alerty dotyczące liczby wierszy, awarii i dryftów opóźnień.
• Podręcznik uruchamiania obejmujący ponowne odtwarzanie, uzupełnianie danych i sposób dodawania nowego źródła.

Czego od Ciebie potrzebuję

Systemy źródłowe i docelowe z poświadczeniami do odczytu, jeden działający przykład danych i harmonogram, którego faktycznie potrzebujesz, a nie ten, który brzmi imponująco.

Czas realizacji i komunikacja

Pierwszy działający potok zazwyczaj w ciągu pięciu dni, z uruchomieniem testowym, które możesz sprawdzić, zanim trafi do produkcji. Wysyłam krótką pisemną aktualizację na każdym etapie, zamiast łańcucha spotkań, a każda decyzja, która wpływa na Twoje dane — retencja, okno uzupełniania danych, co dzieje się z odrzuconymi wierszami — jest zapisana tam, gdzie możesz ją później znaleźć. Jeśli czegoś nie da się uczynić niezawodnym w dostępnym czasie, dowiesz się o tym wystarczająco wcześnie, aby zmienić plan, zamiast odkrywać to podczas uruchomienia.