Saya Akan membina saluran paip data ETL yang memindahkan data antara sistem anda dengan pasti

Apa ini

Saluran paip yang boleh dipercayai antara sistem yang sudah anda jalankan: pangkalan data ke gudang, CRM ke pelaporan, API ke hamparan, atau ketiga-tiganya. Tugas ini bukan laluan yang mudah — setiap alat boleh menyalin baris sekali. Tugas ini adalah apa yang berlaku pada hari keempat puluh apabila token tamat tempoh pada pukul 2 pagi, sumber menambah lajur yang boleh null, atau rangkaian terputus di tengah-tengah kelompok.

Bagaimana saya membina ia

Ekstrak, muat, dan transformasi adalah langkah-langkah yang berasingan, kerana ia gagal atas sebab yang berbeza dan harus dicuba semula secara berbeza. Pengekstrakan merekodkan kursor atau tanda air supaya permulaan semula disambung semula dan bukannya menduplikasi. Pemuatan berjalan dalam transaksi setiap kelompok, jadi ranap meninggalkan destinasi konsisten dan bukannya separuh ditulis. Transformasi hidup dalam SQL atau Python yang diubahsuai, bukan di dalam pembina visual di mana tiada siapa yang boleh membacanya enam bulan kemudian.

Setiap larian menulis manifes: baris yang dibaca, baris yang ditulis, baris yang ditolak, dan sebab setiap penolakan. Idempotensi dikuatkuasakan dengan kunci semula jadi ditambah hash, jadi menjalankan semula tugas semalam tidak berbahaya. Perubahan skema dikesan sebelum ia merosakkan muatan, dan ia memberi amaran dan bukannya gagal secara senyap.

Apa yang anda dapat

• Kod saluran paip dalam repositori anda, dengan ujian terhadap sampel data sebenar.
• Penjadual: cron, pemasa systemd, Airflow atau Prefect bergantung pada tindanan anda.
• Pemantauan dan amaran mengenai kiraan baris, kegagalan dan hanyutan kependaman.
• Buku panduan yang meliputi main semula, pengisian semula dan cara menambah sumber baharu.

Apa yang saya perlukan daripada anda

Sistem sumber dan destinasi dengan kelayakan baca, satu contoh data yang berfungsi, dan jadual yang anda perlukan dan bukannya yang kedengaran mengagumkan.

Pusingan dan komunikasi

Saluran paip kerja pertama biasanya dalam tempoh lima hari, dengan larian pementasan yang boleh anda periksa sebelum ia menyentuh pengeluaran. Saya menghantar kemas kini bertulis ringkas pada setiap pencapaian dan bukannya rantaian mesyuarat, dan setiap keputusan yang mempengaruhi data anda — pengekalan, tetingkap pengisian semula, apa yang berlaku kepada baris yang ditolak — ditulis di mana anda boleh mencarinya kemudian. Jika sesuatu tidak dapat dibuat boleh dipercayai dalam masa yang tersedia, anda mendengarnya cukup awal untuk mengubah rancangan dan bukannya menemuinya semasa pelancaran.