Sistemləriniz arasında məlumatları etibarlı şəkildə köçürən ETL məlumat boru kəməri quracağam

Bu nədir

Artıq işlətdiyiniz sistemlər arasında etibarlı bir boru kəməri: verilənlər bazasından anbara, CRM-dən hesabat verməyə, API-dən elektron cədvələ və ya hər üçü. İş xoşbəxt yol deyil — hər bir alət sətirləri bir dəfə kopyalaya bilər. İş, qırxıncı gündə saat 2-də bir tokenin müddəti bitdikdə, bir mənbə boş bir sütun əlavə etdikdə və ya şəbəkə bir partiyanın ortasında kəsildikdə baş verənlərdir.

Mən onu necə qururam

Çıxarma, yükləmə və çevirmə ayrı addımlardır, çünki onlar müxtəlif səbəblərdən uğursuz olurlar və fərqli şəkildə yenidən cəhd edilməlidir. Çıxarma bir kursor və ya su nişanı qeyd edir ki, yenidən başlama təkrarlamaq əvəzinə davam etsin. Yükləmə hər partiya üçün bir əməliyyat daxilində işləyir, buna görə bir qəza təyinat yerini yarımçıq yazılmış deyil, ardıcıl qoyur. Çevirmə versiyalı SQL və ya Python-da yaşayır, altı ay sonra heç kimin oxuya bilməyəcəyi vizual qurucu daxilində deyil.

Hər işləmə bir manifest yazır: oxunan sətirlər, yazılan sətirlər, rədd edilən sətirlər və hər rəddin səbəbi. İdempotensiya təbii açar və heş ilə tətbiq edilir, buna görə dünənki işi yenidən işlətmək zərərsizdir. Sxem dəyişiklikləri yükləməni pozmadan əvvəl aşkar edilir və səssizcə uğursuz olmaq əvəzinə xəbərdarlıq edirlər.

Nə əldə edirsiniz

• Sizin repozitoriyanızda boru kəməri kodu, real məlumat nümunəsinə qarşı testlərlə.
• Bir planlayıcı: cron, systemd timer, Airflow və ya Prefect yığınınızdan asılı olaraq.
• Sətir sayları, uğursuzluqlar və gecikmə sürüşmələri üzrə monitorinq və xəbərdarlıq.
• Yenidən oynatma, doldurma və yeni mənbə əlavə etmək üçün bir iş kitabçası.

Sizdən nə lazımdır

Oxuma etimadnamələri olan mənbə və təyinat sistemləri, məlumatların bir işləyən nümunəsi və təsirli səslənən deyil, həqiqətən ehtiyac duyduğunuz cədvəl.

Dönüş və ünsiyyət

İlk işləyən boru kəməri adətən beş gün ərzində, istehsala toxunmadan əvvəl yoxlaya biləcəyiniz bir mərhələli işləmə ilə. Mən görüşlər zənciri əvəzinə hər mərhələdə qısa yazılı yeniləmə göndərirəm və məlumatlarınıza təsir edən hər qərar — saxlama, doldurma pəncərəsi, rədd edilən sətirlərə nə olur — daha sonra tapa biləcəyiniz yerdə yazılır. Əgər mövcud vaxtda bir şey etibarlı edilə bilməzsə, onu işə salınarkən kəşf etmək əvəzinə planı dəyişdirmək üçün kifayət qədər erkən eşidirsiniz.