मी एक ETL डेटा पाइपलाइन तयार करेन जी तुमच्या सिस्टममध्ये डेटा विश्वसनीयपणे हलवते

हे काय आहे

तुम्ही आधीपासून चालवत असलेल्या सिस्टममध्ये एक विश्वसनीय पाइपलाइन: डेटाबेस ते वेअरहाऊस, CRM ते रिपोर्टिंग, API ते स्प्रेडशीट किंवा तिन्ही. काम म्हणजे आनंदी मार्ग नाही — प्रत्येक साधन एकदा पंक्ती कॉपी करू शकते. काम म्हणजे चाळीसाव्या दिवशी काय होते जेव्हा सकाळी 2 वाजता टोकनची मुदत संपते, स्त्रोत एक नलेबल कॉलम जोडतो किंवा बॅचच्या मध्यभागी नेटवर्क खंडित होते.

मी ते कसे तयार करतो

एक्सट्रॅक्ट, लोड आणि ट्रान्सफॉर्म हे स्वतंत्र टप्पे आहेत, कारण ते वेगवेगळ्या कारणांमुळे अयशस्वी होतात आणि त्यांना वेगवेगळ्या प्रकारे पुन्हा प्रयत्न करणे आवश्यक आहे. एक्सट्रॅक्शन कर्सर किंवा वॉटरमार्क रेकॉर्ड करते जेणेकरून रीस्टार्ट डुप्लिकेट करण्याऐवजी पुन्हा सुरू होते. लोडिंग प्रति बॅच एका ट्रान्झॅक्शनमध्ये चालते, त्यामुळे क्रॅशमुळे गंतव्यस्थान अर्धवट लिहिण्याऐवजी सुसंगत राहते. ट्रान्सफॉर्मेशन व्हर्जन केलेल्या SQL किंवा पायथनमध्ये राहते, व्हिज्युअल बिल्डरमध्ये नाही जिथे सहा महिन्यांनंतर कोणीही ते वाचू शकत नाही.

प्रत्येक रन एक मॅनफेस्ट लिहितो: वाचलेल्या पंक्ती, लिहिलेल्या पंक्ती, नाकारलेल्या पंक्ती आणि प्रत्येक नकाराचे कारण. नैसर्गिक की आणि हॅशसह आयडेम्पोटेंसी लागू केली जाते, त्यामुळे कालची नोकरी पुन्हा चालवणे निरुपद्रवी आहे. लोड खंडित होण्यापूर्वी स्कीमा बदल शोधले जातात आणि ते शांतपणे अयशस्वी होण्याऐवजी अलर्ट देतात.

तुम्हाला काय मिळते

• तुमच्या रिपॉझिटरीमध्ये पाइपलाइन कोड, वास्तविक डेटाच्या नमुन्याविरुद्ध चाचण्यांसह.
• एक शेड्यूलर: क्रॉन, सिस्टमडी टाइमर, एअरफ्लो किंवा प्रीफेक्ट तुमच्या स्टॅकनुसार.
• पंक्तींची संख्या, अपयश आणि लेटन्सी ड्रिफ्ट्सवर मॉनिटरिंग आणि अलर्टिंग.
• रिप्ले, बॅकफिल आणि नवीन स्त्रोत कसे जोडायचे हे कव्हर करणारा रनबुक.

मला तुमच्याकडून काय हवे आहे

वाचन क्रेडेन्शियल्ससह स्त्रोत आणि गंतव्य प्रणाली, डेटाचे एक कार्यक्षम उदाहरण आणि तुम्हाला प्रत्यक्षात आवश्यक असलेले वेळापत्रक, जे प्रभावी वाटते ते नाही.

टर्नअराउंड आणि संवाद

पहिले कार्यक्षम पाइपलाइन सहसा पाच दिवसांच्या आत, स्टेजिंग रनसह जे तुम्ही उत्पादनावर जाण्यापूर्वी तपासू शकता. मी मीटिंगच्या साखळीऐवजी प्रत्येक टप्प्यावर एक लहान लिखित अपडेट पाठवतो आणि तुमच्या डेटावर परिणाम करणारा प्रत्येक निर्णय — रिटेन्शन, बॅकफिल विंडो, नाकारलेल्या पंक्तींचे काय होते — जिथे तुम्हाला तो नंतर सापडेल तिथे लिहिला जातो. उपलब्ध वेळेत काहीतरी विश्वसनीय बनवता येत नसेल, तर लॉन्चच्या वेळी ते शोधण्याऐवजी योजना बदलण्यासाठी तुम्हाला ते लवकर कळते.