Verilerinizi sistemleriniz arasında güvenilir bir şekilde taşıyan bir ETL veri hattı oluşturacağım

Bu nedir

Halihazırda çalıştırdığınız sistemler arasında güvenilir bir hat: veritabanından depoya, CRM'den raporlamaya, API'den elektronik tabloya veya üçü birden. İş, mutlu yol değildir — her araç satırları bir kez kopyalayabilir. İş, bir belirtecin sabah 2'de süresi dolduğunda, bir kaynak boş bırakılabilir bir sütun eklediğinde veya ağ bir toplu işin ortasında kesildiğinde kırkıncı günde ne olduğudur.

Nasıl inşa ederim

Ayıklama, yükleme ve dönüştürme ayrı adımlardır, çünkü farklı nedenlerle başarısız olurlar ve farklı şekilde yeniden denenmelidirler. Ayıklama, bir imleç veya filigran kaydeder, böylece bir yeniden başlatma çoğaltmak yerine devam eder. Yükleme, her toplu iş için bir işlem içinde çalışır, böylece bir çökme hedefi yarı yazılmış yerine tutarlı bırakır. Dönüştürme, altı ay sonra kimsenin okuyamayacağı görsel bir oluşturucunun içinde değil, sürüm kontrollü SQL veya Python'da yaşar.

Her çalıştırma bir bildirim yazar: okunan satırlar, yazılan satırlar, reddedilen satırlar ve her reddetmenin nedeni. İdempotens, doğal bir anahtar artı bir karma ile uygulanır, böylece dünkü işi yeniden çalıştırmak zararsızdır. Şema değişiklikleri bir yükü bozmadan önce algılanır ve sessizce başarısız olmak yerine uyarırlar.

Ne alırsınız

• Gerçek verilerin bir örneğine karşı testlerle birlikte deponuzdaki hat kodu.
• Yığınınıza bağlı olarak bir zamanlayıcı: cron, systemd zamanlayıcı, Airflow veya Prefect.
• Satır sayıları, hatalar ve gecikme kaymaları üzerinde izleme ve uyarı.
• Yeniden oynatma, geriye dönük doldurma ve yeni bir kaynak ekleme konularını kapsayan bir çalışma kitabı.

Sizden neye ihtiyacım var

Okuma kimlik bilgileriyle kaynak ve hedef sistemler, verilerin çalışan bir örneği ve etkileyici görünen değil, gerçekten ihtiyacınız olan program.

Geri dönüş ve iletişim

İlk çalışan hat genellikle beş gün içinde, üretime dokunmadan önce inceleyebileceğiniz bir hazırlık çalıştırmasıyla. Toplantı zinciri yerine her dönüm noktasında kısa bir yazılı güncelleme gönderirim ve verilerinizi etkileyen her karar — saklama, geriye dönük doldurma penceresi, reddedilen satırlara ne olacağı — daha sonra bulabileceğiniz bir yere yazılır. Mevcut zamanda bir şey güvenilir hale getirilemezse, lansmanda keşfetmek yerine planı değiştirmek için yeterince erken duyarsınız.