मैं एक ईटीएल डेटा पाइपलाइन बनाऊंगा जो आपके सिस्टम के बीच डेटा को विश्वसनीय रूप से स्थानांतरित करती है।

यह क्या है

आपके द्वारा पहले से चलाए जा रहे सिस्टम के बीच एक विश्वसनीय पाइपलाइन: डेटाबेस से वेयरहाउस, सीआरएम से रिपोर्टिंग, एपीआई से स्प्रेडशीट, या तीनों। काम खुशहाल रास्ता नहीं है - हर उपकरण एक बार पंक्तियों की प्रतिलिपि बना सकता है। काम वह है जो चालीसवें दिन होता है जब सुबह 2 बजे एक टोकन समाप्त हो जाता है, एक स्रोत एक शून्य करने योग्य कॉलम जोड़ता है, या बैच के बीच में नेटवर्क गिर जाता है।

मैं इसे कैसे बनाता हूँ

निकालना, लोड करना और बदलना अलग-अलग चरण हैं, क्योंकि वे अलग-अलग कारणों से विफल होते हैं और उन्हें अलग-अलग तरीके से पुनः प्रयास किया जाना चाहिए। निष्कर्षण एक कर्सर या वॉटरमार्क रिकॉर्ड करता है ताकि एक पुनरारंभ डुप्लिकेट करने के बजाय फिर से शुरू हो। लोडिंग प्रति बैच एक लेनदेन के अंदर चलती है, इसलिए एक क्रैश गंतव्य को आधा-लिखा होने के बजाय सुसंगत छोड़ देता है। परिवर्तन संस्करणित SQL या पायथन में रहता है, न कि एक विज़ुअल बिल्डर के अंदर जहाँ कोई भी इसे छह महीने बाद नहीं पढ़ सकता है।

प्रत्येक रन एक मैनिफेस्ट लिखता है: पढ़ी गई पंक्तियाँ, लिखी गई पंक्तियाँ, अस्वीकृत पंक्तियाँ, और प्रत्येक अस्वीकृति का कारण। एक प्राकृतिक कुंजी और एक हैश के साथ आइडम्पोटेंसी लागू की जाती है, इसलिए कल के काम को फिर से चलाना हानिरहित है। स्कीमा परिवर्तन लोड को तोड़ने से पहले पता लगाए जाते हैं, और वे चुपचाप विफल होने के बजाय अलर्ट करते हैं।

आपको क्या मिलता है

• आपके रिपॉजिटरी में पाइपलाइन कोड, वास्तविक डेटा के नमूने के खिलाफ परीक्षण के साथ।
• एक शेड्यूलर: क्रॉन, सिस्टमडी टाइमर, एयरफ्लो या प्रीफेक्ट आपके स्टैक के आधार पर।
• पंक्ति गणना, विफलताओं और विलंबता बहाव पर निगरानी और अलर्टिंग।
• रिप्ले, बैकफिल और एक नया स्रोत कैसे जोड़ें, इसे कवर करने वाली एक रनबुक।

मुझे आपसे क्या चाहिए

पढ़ने के क्रेडेंशियल के साथ स्रोत और गंतव्य सिस्टम, डेटा का एक काम करने वाला उदाहरण, और वह शेड्यूल जिसकी आपको वास्तव में आवश्यकता है, न कि वह जो प्रभावशाली लगता है।

टर्नअराउंड और संचार

पहला काम करने वाला पाइपलाइन आमतौर पर पांच दिनों के भीतर, एक स्टेजिंग रन के साथ जिसे आप उत्पादन को छूने से पहले निरीक्षण कर सकते हैं। मैं बैठकों की एक श्रृंखला के बजाय प्रत्येक मील के पत्थर पर एक छोटा लिखित अपडेट भेजता हूं, और आपके डेटा को प्रभावित करने वाला हर निर्णय - प्रतिधारण, बैकफिल विंडो, अस्वीकृत पंक्तियों का क्या होता है - लिखा जाता है जहां आप इसे बाद में पा सकते हैं। यदि उपलब्ध समय में कुछ विश्वसनीय नहीं बनाया जा सकता है, तो आपको लॉन्च पर इसे खोजने के बजाय योजना बदलने के लिए पर्याप्त जल्दी पता चलता है।