നിങ്ങളുടെ സിസ്റ്റങ്ങൾക്കിടയിൽ ഡാറ്റ വിശ്വസനീയമായി നീക്കുന്ന ഒരു ETL ഡാറ്റാ പൈപ്പ്ലൈൻ ഞാൻ നിർമ്മിക്കും

ഇതെന്താണ്

നിങ്ങൾ ഇതിനകം പ്രവർത്തിപ്പിക്കുന്ന സിസ്റ്റങ്ങൾക്കിടയിലുള്ള ഒരു വിശ്വസനീയമായ പൈപ്പ്ലൈൻ: ഡാറ്റാബേസ് മുതൽ വെയർഹൗസ് വരെ, CRM മുതൽ റിപ്പോർട്ടിംഗ് വരെ, API മുതൽ സ്പ്രെഡ്ഷീറ്റ് വരെ, അല്ലെങ്കിൽ ഈ മൂന്നും. ജോലി ഹാപ്പി പാത്ത് അല്ല — ഓരോ ടൂളിനും ഒരു തവണ വരികൾ പകർത്താൻ കഴിയും. ഒരു ടോക്കൺ പുലർച്ചെ 2 മണിക്ക് കാലഹരണപ്പെടുമ്പോൾ, ഒരു ഉറവിടം ഒരു നൾ ചെയ്യാവുന്ന കോളം ചേർക്കുമ്പോൾ, അല്ലെങ്കിൽ ഒരു ബാച്ചിന്റെ പകുതിയിൽ നെറ്റ്‌വർക്ക് തകരുമ്പോൾ നാൽപ്പതാം ദിവസം സംഭവിക്കുന്നതാണ് ജോലി.

ഞാൻ ഇത് എങ്ങനെ നിർമ്മിക്കുന്നു

എക്സ്ട്രാക്റ്റ്, ലോഡ്, ട്രാൻസ്ഫോം എന്നിവ പ്രത്യേക ഘട്ടങ്ങളാണ്, കാരണം അവ വ്യത്യസ്ത കാരണങ്ങളാൽ പരാജയപ്പെടുകയും വ്യത്യസ്തമായി വീണ്ടും ശ്രമിക്കുകയും വേണം. എക്സ്ട്രാക്ഷൻ ഒരു കഴ്സറോ വാട്ടർമാർക്കോ രേഖപ്പെടുത്തുന്നു, അതിനാൽ ഒരു പുനരാരംഭം തനിപ്പകർപ്പാക്കുന്നതിന് പകരം പുനരാരംഭിക്കുന്നു. ഓരോ ബാച്ചിനും ഒരു ട്രാൻസാക്ഷനുള്ളിൽ ലോഡിംഗ് പ്രവർത്തിക്കുന്നു, അതിനാൽ ഒരു ക്രാഷ് ലക്ഷ്യസ്ഥാനം പകുതി എഴുതിയതിന് പകരം സ്ഥിരതയുള്ളതാക്കുന്നു. ട്രാൻസ്ഫോർമേഷൻ പതിപ്പുള്ള SQL-ലോ പൈത്തണിലോ ആണ്, ആറുമാസത്തിന് ശേഷം ആർക്കും വായിക്കാൻ കഴിയാത്ത ഒരു വിഷ്വൽ ബിൽഡറിനുള്ളിലല്ല.

ഓരോ റണ്ണും ഒരു മാനിഫെസ്റ്റ് എഴുതുന്നു: വായിച്ച വരികൾ, എഴുതിയ വരികൾ, നിരസിച്ച വരികൾ, ഓരോ നിരസിക്കലിന്റെയും കാരണം. ഒരു നാച്ചുറൽ കീയും ഒരു ഹാഷും ഉപയോഗിച്ച് ഐഡംപൊട്ടൻസി നടപ്പിലാക്കുന്നു, അതിനാൽ ഇന്നലത്തെ ജോലി വീണ്ടും പ്രവർത്തിപ്പിക്കുന്നത് ദോഷകരമല്ല. സ്കീമ മാറ്റങ്ങൾ ഒരു ലോഡ് തകർക്കുന്നതിന് മുമ്പ് കണ്ടെത്തുകയും നിശബ്ദമായി പരാജയപ്പെടുന്നതിന് പകരം മുന്നറിയിപ്പ് നൽകുകയും ചെയ്യുന്നു.

നിങ്ങൾക്ക് ലഭിക്കുന്നത്

• നിങ്ങളുടെ റിപ്പോസിറ്ററിയിലെ പൈപ്പ്ലൈൻ കോഡ്, യഥാർത്ഥ ഡാറ്റയുടെ ഒരു സാമ്പിളിനെതിരായ ടെസ്റ്റുകളോടൊപ്പം.
• ഒരു ഷെഡ്യൂളർ: ക്രോൺ, സിസ്റ്റംഡ് ടൈമർ, എയർഫ്ലോ അല്ലെങ്കിൽ പ്രിഫെക്റ്റ് നിങ്ങളുടെ സ്റ്റാക്കിനെ ആശ്രയിച്ചിരിക്കുന്നു.
• വരികളുടെ എണ്ണം, പരാജയങ്ങൾ, ലേറ്റൻസി ഡ്രിഫ്റ്റുകൾ എന്നിവയെക്കുറിച്ചുള്ള നിരീക്ഷണവും മുന്നറിയിപ്പും.
• റീപ്ലേ, ബാക്ക്ഫിൽ, ഒരു പുതിയ ഉറവിടം എങ്ങനെ ചേർക്കാം എന്നിവ ഉൾക്കൊള്ളുന്ന ഒരു റൺബുക്ക്.

നിങ്ങളിൽ നിന്ന് എനിക്ക് വേണ്ടത്

വായിക്കാനുള്ള ക്രെഡൻഷ്യലുകളുള്ള ഉറവിടവും ലക്ഷ്യസ്ഥാനവുമായ സിസ്റ്റങ്ങൾ, ഡാറ്റയുടെ ഒരു പ്രവർത്തിക്കുന്ന ഉദാഹരണം, കൂടാതെ ആകർഷകമായി തോന്നുന്നതിന് പകരം നിങ്ങൾക്ക് യഥാർത്ഥത്തിൽ ആവശ്യമുള്ള ഷെഡ്യൂൾ.

തിരിച്ചുവരവും ആശയവിനിമയവും

ആദ്യത്തെ പ്രവർത്തിക്കുന്ന പൈപ്പ്ലൈൻ സാധാരണയായി അഞ്ച് ദിവസത്തിനുള്ളിൽ, ഉൽപ്പാദനത്തിൽ സ്പർശിക്കുന്നതിന് മുമ്പ് നിങ്ങൾക്ക് പരിശോധിക്കാൻ കഴിയുന്ന ഒരു സ്റ്റേജിംഗ് റണ്ണോടുകൂടി. മീറ്റിംഗുകളുടെ ഒരു ശൃംഖലയ്ക്ക് പകരം ഓരോ നാഴികക്കല്ലിലും ഞാൻ ഒരു ചെറിയ രേഖാമൂലമുള്ള അപ്ഡേറ്റ് അയയ്ക്കുന്നു, കൂടാതെ നിങ്ങളുടെ ഡാറ്റയെ ബാധിക്കുന്ന എല്ലാ തീരുമാനങ്ങളും — നിലനിർത്തൽ, ബാക്ക്ഫിൽ വിൻഡോ, നിരസിച്ച വരികൾക്ക് എന്ത് സംഭവിക്കുന്നു — നിങ്ങൾക്ക് പിന്നീട് കണ്ടെത്താൻ കഴിയുന്നിടത്ത് എഴുതിവെക്കുന്നു. ലഭ്യമായ സമയത്തിനുള്ളിൽ എന്തെങ്കിലും വിശ്വസനീയമാക്കാൻ കഴിയുന്നില്ലെങ്കിൽ, ലോഞ്ചിൽ അത് കണ്ടെത്തുന്നതിന് പകരം പ്ലാൻ മാറ്റാൻ മതിയായ നേരത്തെ നിങ്ങൾക്കത് അറിയാൻ കഴിയും.