உங்கள் அமைப்புகளுக்கு இடையில் தரவை நம்பகத்தன்மையுடன் நகர்த்தும் ஒரு ETL தரவு பைப்லைனை உருவாக்குவேன்

இது என்ன

நீங்கள் ஏற்கனவே இயக்கும் சிஸ்டங்களுக்கு இடையில் ஒரு நம்பகமான பைப்லைன்: தரவுத்தளத்திலிருந்து கிடங்கிற்கு, CRM இலிருந்து அறிக்கையிடலுக்கு, API இலிருந்து விரிதாளுக்கு, அல்லது மூன்றுமே. வேலை என்பது மகிழ்ச்சியான பாதை அல்ல — ஒவ்வொரு கருவியும் ஒருமுறை வரிசைகளை நகலெடுக்க முடியும். வேலை என்பது நாற்பதாவது நாளில் ஒரு டோக்கன் அதிகாலை 2 மணிக்கு காலாவதியாகும் போது, ஒரு ஆதாரம் ஒரு பூஜ்ய நெடுவரிசையை சேர்க்கும் போது, அல்லது ஒரு தொகுதிக்கு நடுவில் நெட்வொர்க் துண்டிக்கப்படும் போது என்ன நடக்கிறது என்பதுதான்.

நான் அதை எப்படி உருவாக்குகிறேன்

பிரித்தெடுத்தல், ஏற்றுதல் மற்றும் மாற்றுதல் ஆகியவை தனித்தனி படிகள், ஏனெனில் அவை வெவ்வேறு காரணங்களுக்காக தோல்வியடைகின்றன மற்றும் வெவ்வேறு வழிகளில் மீண்டும் முயற்சிக்கப்பட வேண்டும். பிரித்தெடுத்தல் ஒரு கர்சர் அல்லது வாட்டர்மார்க்கை பதிவு செய்கிறது, எனவே ஒரு மறுதொடக்கம் நகலெடுப்பதற்கு பதிலாக மீண்டும் தொடங்குகிறது. ஏற்றுதல் ஒரு தொகுதிக்கு ஒரு பரிவர்த்தனைக்குள் இயங்குகிறது, எனவே ஒரு செயலிழப்பு இலக்கை பாதி எழுதப்பட்டதை விட சீராக விட்டுவிடுகிறது. மாற்றம் பதிப்பு செய்யப்பட்ட SQL அல்லது பைத்தானில் வாழ்கிறது, ஆறு மாதங்களுக்குப் பிறகு யாரும் படிக்க முடியாத ஒரு காட்சி பில்டருக்குள் அல்ல.

ஒவ்வொரு இயக்கமும் ஒரு அறிக்கையை எழுதுகிறது: படிக்கப்பட்ட வரிசைகள், எழுதப்பட்ட வரிசைகள், நிராகரிக்கப்பட்ட வரிசைகள் மற்றும் ஒவ்வொரு நிராகரிப்புக்கான காரணம். ஒரு நேச்சுரல் கீ மற்றும் ஒரு ஹாஷ் மூலம் ஐடெம்போடென்சி செயல்படுத்தப்படுகிறது, எனவே நேற்றைய வேலையை மீண்டும் இயக்குவது பாதிப்பில்லாதது. ஸ்கீமா மாற்றங்கள் ஒரு சுமையை உடைப்பதற்கு முன் கண்டறியப்படுகின்றன, மேலும் அவை அமைதியாக தோல்வியடைவதற்கு பதிலாக எச்சரிக்கின்றன.

நீங்கள் பெறுவது

• உங்கள் களஞ்சியத்தில் பைப்லைன் குறியீடு, உண்மையான தரவின் மாதிரியுடன் சோதனைகள்.
• ஒரு திட்டமிடுபவர்: உங்கள் ஸ்டாக்கை பொறுத்து cron, systemd timer, Airflow அல்லது Prefect.
• வரிசை எண்ணிக்கைகள், தோல்விகள் மற்றும் தாமத சறுக்கல்கள் குறித்த கண்காணிப்பு மற்றும் எச்சரிக்கை.
• மறுபதிவு, பேக்ஃபில் மற்றும் ஒரு புதிய ஆதாரத்தை எவ்வாறு சேர்ப்பது என்பதை உள்ளடக்கிய ஒரு ரன்புக்.

உங்களிடமிருந்து எனக்கு என்ன தேவை

படிக்கக்கூடிய சான்றுகளுடன் கூடிய மூல மற்றும் இலக்கு அமைப்புகள், தரவின் ஒரு வேலை செய்யும் எடுத்துக்காட்டு, மற்றும் ஈர்க்கக்கூடியதாக ஒலிக்கும் அட்டவணையை விட உங்களுக்கு உண்மையில் தேவைப்படும் அட்டவணை.

திருப்புமுனை மற்றும் தொடர்பு

முதல் வேலை செய்யும் பைப்லைன் பொதுவாக ஐந்து நாட்களுக்குள், உற்பத்திக்கு தொடுவதற்கு முன் நீங்கள் ஆய்வு செய்யக்கூடிய ஒரு ஸ்டேஜிங் இயக்கத்துடன். நான் சந்திப்புகளின் சங்கிலிக்கு பதிலாக ஒவ்வொரு மைல்கல்லிலும் ஒரு சிறிய எழுதப்பட்ட புதுப்பிப்பை அனுப்புகிறேன், மேலும் உங்கள் தரவை பாதிக்கும் ஒவ்வொரு முடிவும் — தக்கவைப்பு, பேக்ஃபில் சாளரம், நிராகரிக்கப்பட்ட வரிசைகளுக்கு என்ன நடக்கும் — நீங்கள் பின்னர் கண்டுபிடிக்கக்கூடிய இடத்தில் எழுதப்பட்டுள்ளது. கிடைக்கக்கூடிய நேரத்தில் ஏதாவது நம்பகமானதாக மாற்ற முடியாவிட்டால், வெளியீட்டில் கண்டுபிடிப்பதற்கு பதிலாக திட்டத்தை மாற்ற போதுமான அளவு முன்னதாகவே நீங்கள் அதைக் கேட்கிறீர்கள்.