Ich werde eine ETL-Datenpipeline aufbauen, die Daten zuverlässig zwischen Ihren Systemen verschiebt.

Was das ist

Eine zuverlässige Pipeline zwischen den Systemen, die Sie bereits betreiben: Datenbank zu Warehouse, CRM zu Reporting, API zu Tabellenkalkulation oder alle drei. Die Aufgabe ist nicht der "Happy Path" – jedes Tool kann Zeilen einmal kopieren. Die Aufgabe ist, was am vierzigsten Tag passiert, wenn ein Token um 2 Uhr morgens abläuft, eine Quelle eine nullfähige Spalte hinzufügt oder das Netzwerk mitten in einem Batch ausfällt.

Wie ich es baue

Extrahieren, Laden und Transformieren sind separate Schritte, da sie aus unterschiedlichen Gründen fehlschlagen und unterschiedlich wiederholt werden sollten. Die Extraktion zeichnet einen Cursor oder ein Wasserzeichen auf, sodass ein Neustart fortgesetzt wird, anstatt zu duplizieren. Das Laden erfolgt innerhalb einer Transaktion pro Batch, sodass ein Absturz das Ziel konsistent und nicht halb geschrieben hinterlässt. Die Transformation erfolgt in versioniertem SQL oder Python, nicht in einem visuellen Builder, wo sie sechs Monate später niemand mehr lesen kann.

Jeder Lauf schreibt ein Manifest: gelesene Zeilen, geschriebene Zeilen, abgelehnte Zeilen und der Grund für jede Ablehnung. Idempotenz wird mit einem natürlichen Schlüssel plus einem Hash erzwungen, sodass das erneute Ausführen des gestrigen Jobs harmlos ist. Schemaänderungen werden erkannt, bevor sie einen Ladevorgang unterbrechen, und sie werden gemeldet, anstatt stillschweigend zu fehlschlagen.

Was Sie bekommen

• Pipeline-Code in Ihrem Repository, mit Tests gegen eine Stichprobe realer Daten.
• Ein Scheduler: cron, systemd-Timer, Airflow oder Prefect, je nach Ihrem Stack.
• Überwachung und Alarmierung bei Zeilenanzahl, Fehlern und Latenzabweichungen.
• Ein Runbook, das die Wiederholung, den Backfill und das Hinzufügen einer neuen Quelle behandelt.

Was ich von Ihnen brauche

Die Quell- und Zielsysteme mit Lesezugangsdaten, ein funktionierendes Beispiel der Daten und der Zeitplan, den Sie tatsächlich benötigen, anstatt desjenigen, der beeindruckend klingt.

Bearbeitungszeit und Kommunikation

Die erste funktionierende Pipeline ist in der Regel innerhalb von fünf Tagen fertig, mit einem Staging-Lauf, den Sie überprüfen können, bevor er die Produktion erreicht. Ich sende bei jedem Meilenstein ein kurzes schriftliches Update anstelle einer Reihe von Besprechungen, und jede Entscheidung, die Ihre Daten betrifft – Aufbewahrung, Backfill-Fenster, was mit abgelehnten Zeilen geschieht – wird schriftlich festgehalten, wo Sie sie später finden können. Wenn etwas in der verfügbaren Zeit nicht zuverlässig gemacht werden kann, erfahren Sie es früh genug, um den Plan zu ändern, anstatt es erst beim Start zu entdecken.