Saya akan membangun pipeline data ETL yang memindahkan data antar sistem Anda dengan andal

Apa ini

Pipeline yang andal antara sistem yang sudah Anda jalankan: database ke gudang, CRM ke pelaporan, API ke spreadsheet, atau ketiganya. Pekerjaan ini bukan jalur yang mulus — setiap alat dapat menyalin baris sekali. Pekerjaan ini adalah apa yang terjadi pada hari keempat puluh ketika token kedaluwarsa pada pukul 2 pagi, sumber menambahkan kolom yang dapat diisi nol, atau jaringan terputus di tengah-tengah batch.

Bagaimana saya membangunnya

Ekstrak, muat, dan transformasi adalah langkah-langkah terpisah, karena mereka gagal karena alasan yang berbeda dan harus dicoba ulang secara berbeda. Ekstraksi mencatat kursor atau watermark sehingga restart melanjutkan alih-alih menduplikasi. Pemuatan berjalan di dalam transaksi per batch, sehingga crash meninggalkan tujuan yang konsisten daripada setengah tertulis. Transformasi hidup dalam SQL atau Python yang diberi versi, bukan di dalam pembangun visual di mana tidak ada yang bisa membacanya enam bulan kemudian.

Setiap eksekusi menulis manifes: baris yang dibaca, baris yang ditulis, baris yang ditolak, dan alasan untuk setiap penolakan. Idempotensi diberlakukan dengan kunci alami ditambah hash, sehingga menjalankan kembali pekerjaan kemarin tidak berbahaya. Perubahan skema terdeteksi sebelum merusak pemuatan, dan mereka memperingatkan daripada gagal secara diam-diam.

Apa yang Anda dapatkan

• Kode pipeline di repositori Anda, dengan pengujian terhadap sampel data nyata.
• Penjadwal: cron, systemd timer, Airflow atau Prefect tergantung pada tumpukan Anda.
• Pemantauan dan peringatan pada jumlah baris, kegagalan, dan penyimpangan latensi.
• Runbook yang mencakup pemutaran ulang, pengisian ulang, dan cara menambahkan sumber baru.

Apa yang saya butuhkan dari Anda

Sistem sumber dan tujuan dengan kredensial baca, satu contoh data yang berfungsi, dan jadwal yang benar-benar Anda butuhkan daripada yang terdengar mengesankan.

Waktu penyelesaian dan komunikasi

Pipeline kerja pertama biasanya dalam lima hari, dengan eksekusi staging yang dapat Anda periksa sebelum menyentuh produksi. Saya mengirim pembaruan tertulis singkat di setiap tonggak daripada serangkaian rapat, dan setiap keputusan yang memengaruhi data Anda — retensi, jendela pengisian ulang, apa yang terjadi pada baris yang ditolak — ditulis di tempat yang dapat Anda temukan nanti. Jika sesuatu tidak dapat dibuat andal dalam waktu yang tersedia, Anda mendengarnya cukup awal untuk mengubah rencana daripada menemukannya saat peluncuran.