હું એક ETL ડેટા પાઇપલાઇન બનાવીશ જે તમારા સિસ્ટમો વચ્ચે વિશ્વસનીય રીતે ડેટા ખસેડે છે

આ શું છે

તમે પહેલેથી જ ચલાવી રહ્યા છો તે સિસ્ટમ્સ વચ્ચે એક વિશ્વસનીય પાઇપલાઇન: ડેટાબેઝથી વેરહાઉસ, CRM થી રિપોર્ટિંગ, API થી સ્પ્રેડશીટ, અથવા ત્રણેય. કાર્ય ખુશ માર્ગ નથી — દરેક સાધન એકવાર પંક્તિઓ કોપી કરી શકે છે. કાર્ય એ છે કે ચાલીસમા દિવસે શું થાય છે જ્યારે સવારે 2 વાગ્યે ટોકન સમાપ્ત થાય છે, એક સ્રોત નલ કરી શકાય તેવું કૉલમ ઉમેરે છે, અથવા બેચના અડધા રસ્તે નેટવર્ક ડ્રોપ થાય છે.

હું તેને કેવી રીતે બનાવું છું

એક્સટ્રેક્ટ, લોડ અને ટ્રાન્સફોર્મ અલગ પગલાં છે, કારણ કે તેઓ જુદા જુદા કારણોસર નિષ્ફળ જાય છે અને તેમને અલગ રીતે ફરીથી પ્રયાસ કરવો જોઈએ. એક્સટ્રેક્શન કર્સર અથવા વોટરમાર્ક રેકોર્ડ કરે છે જેથી પુનઃપ્રારંભ ડુપ્લિકેટ કરવાને બદલે ફરી શરૂ થાય. લોડિંગ પ્રતિ બેચ ટ્રાન્ઝેક્શનની અંદર ચાલે છે, જેથી ક્રેશ ગંતવ્યને અડધું લખેલું રાખવાને બદલે સુસંગત રાખે છે. ટ્રાન્સફોર્મેશન વર્ઝનવાળા SQL અથવા પાયથોનમાં રહે છે, વિઝ્યુઅલ બિલ્ડરની અંદર નહીં જ્યાં છ મહિના પછી કોઈ તેને વાંચી શકતું નથી.

દરેક રન એક મેનિફેસ્ટ લખે છે: વાંચેલી પંક્તિઓ, લખેલી પંક્તિઓ, નકારી કાઢેલી પંક્તિઓ અને દરેક અસ્વીકારનું કારણ. આઇડેમ્પોટેન્સી કુદરતી કી વત્તા હેશ સાથે લાગુ કરવામાં આવે છે, તેથી ગઈકાલની જોબને ફરીથી ચલાવવું હાનિકારક છે. સ્કીમા ફેરફારો લોડને તોડે તે પહેલાં શોધી કાઢવામાં આવે છે, અને તેઓ શાંતિપૂર્વક નિષ્ફળ થવાને બદલે ચેતવણી આપે છે.

તમને શું મળે છે

• તમારા રિપોઝીટરીમાં પાઇપલાઇન કોડ, વાસ્તવિક ડેટાના નમૂના સામે પરીક્ષણો સાથે.
• એક શેડ્યૂલર: cron, systemd ટાઈમર, Airflow અથવા Prefect તમારા સ્ટેક પર આધાર રાખીને.
• પંક્તિ ગણતરીઓ, નિષ્ફળતાઓ અને લેટન્સી ડ્રિફ્ટ્સ પર મોનિટરિંગ અને એલર્ટિંગ.
• રીપ્લે, બેકફિલ અને નવો સ્રોત કેવી રીતે ઉમેરવો તે આવરી લેતી રનબુક.

મારે તમારી પાસેથી શું જોઈએ છે

વાંચવા માટેના ઓળખપત્રો સાથેના સ્રોત અને ગંતવ્ય સિસ્ટમ્સ, ડેટાનું એક કાર્યકારી ઉદાહરણ અને તમને ખરેખર જરૂરી શેડ્યૂલ, પ્રભાવશાળી લાગે તેવું નહીં.

ટર્નઅરાઉન્ડ અને સંચાર

પ્રથમ કાર્યકારી પાઇપલાઇન સામાન્ય રીતે પાંચ દિવસની અંદર, સ્ટેજિંગ રન સાથે તમે ઉત્પાદનને સ્પર્શે તે પહેલાં તેનું નિરીક્ષણ કરી શકો છો. હું મીટિંગ્સની સાંકળને બદલે દરેક માઇલસ્ટોન પર ટૂંકું લેખિત અપડેટ મોકલું છું, અને તમારા ડેટાને અસર કરતા દરેક નિર્ણય — રીટેન્શન, બેકફિલ વિન્ડો, નકારી કાઢેલી પંક્તિઓનું શું થાય છે — તે લખવામાં આવે છે જ્યાં તમે તેને પછીથી શોધી શકો છો. જો ઉપલબ્ધ સમયમાં કંઈક વિશ્વસનીય બનાવી શકાતું નથી, તો તમે લોન્ચ સમયે તેને શોધવાને બદલે યોજના બદલવા માટે પૂરતા વહેલા સાંભળો છો.