నేను మీ సిస్టమ్‌ల మధ్య డేటాను విశ్వసనీయంగా తరలించే ETL డేటా పైప్‌లైన్‌ను నిర్మిస్తాను

ఇది ఏమిటి

మీరు ఇప్పటికే నడుపుతున్న సిస్టమ్‌ల మధ్య విశ్వసనీయ పైప్‌లైన్: డేటాబేస్ నుండి వేర్‌హౌస్‌కు, CRM నుండి రిపోర్టింగ్‌కు, API నుండి స్ప్రెడ్‌షీట్‌కు లేదా ఈ మూడింటికి. పని సంతోషకరమైన మార్గం కాదు — ప్రతి సాధనం ఒకసారి అడ్డు వరుసలను కాపీ చేయగలదు. పని ఏమిటంటే, నలభైవ రోజున తెల్లవారుజామున 2 గంటలకు టోకెన్ గడువు ముగిసినప్పుడు, ఒక మూలం నల్లబుల్ కాలమ్‌ను జోడించినప్పుడు లేదా బ్యాచ్ మధ్యలో నెట్‌వర్క్ పడిపోయినప్పుడు ఏమి జరుగుతుంది.

నేను దీన్ని ఎలా నిర్మిస్తాను

ఎక్స్‌ట్రాక్ట్, లోడ్ మరియు ట్రాన్స్‌ఫార్మ్ అనేవి వేర్వేరు దశలు, ఎందుకంటే అవి వేర్వేరు కారణాల వల్ల విఫలమవుతాయి మరియు వాటిని వేర్వేరుగా మళ్లీ ప్రయత్నించాలి. ఎక్స్‌ట్రాక్షన్ ఒక కర్సర్ లేదా వాటర్‌మార్క్‌ను రికార్డ్ చేస్తుంది, కాబట్టి పునఃప్రారంభం నకిలీ చేయడానికి బదులుగా తిరిగి ప్రారంభమవుతుంది. లోడింగ్ ప్రతి బ్యాచ్‌కు ఒక లావాదేవీ లోపల నడుస్తుంది, కాబట్టి క్రాష్ గమ్యాన్ని సగం వ్రాసిన దానికంటే స్థిరంగా ఉంచుతుంది. ట్రాన్స్‌ఫార్మేషన్ వెర్షన్ చేయబడిన SQL లేదా పైథాన్‌లో ఉంటుంది, ఆరు నెలల తర్వాత ఎవరూ చదవలేని విజువల్ బిల్డర్ లోపల కాదు.

ప్రతి రన్ ఒక మానిఫెస్ట్‌ను వ్రాస్తుంది: చదివిన అడ్డు వరుసలు, వ్రాసిన అడ్డు వరుసలు, తిరస్కరించబడిన అడ్డు వరుసలు మరియు ప్రతి తిరస్కరణకు కారణం. సహజ కీ ప్లస్ హాష్‌తో ఇడెంపోటెన్సీ అమలు చేయబడుతుంది, కాబట్టి నిన్నటి పనిని మళ్లీ అమలు చేయడం హానికరం కాదు. స్కీమా మార్పులు లోడ్‌ను విచ్ఛిన్నం చేయడానికి ముందు గుర్తించబడతాయి మరియు అవి నిశ్శబ్దంగా విఫలమవడానికి బదులుగా హెచ్చరిస్తాయి.

మీరు ఏమి పొందుతారు

• మీ రిపోజిటరీలో పైప్‌లైన్ కోడ్, నిజమైన డేటా నమూనాకు వ్యతిరేకంగా పరీక్షలతో.
• ఒక షెడ్యూలర్: క్రోన్, సిస్టమ్‌డి టైమర్, ఎయిర్‌ఫ్లో లేదా ప్రిఫెక్ట్ మీ స్టాక్‌ను బట్టి.
• అడ్డు వరుసల సంఖ్యలు, వైఫల్యాలు మరియు లేటెన్సీ డ్రిఫ్ట్‌లపై పర్యవేక్షణ మరియు హెచ్చరిక.
• రీప్లే, బ్యాక్‌ఫిల్ మరియు కొత్త మూలాన్ని ఎలా జోడించాలో కవర్ చేసే రన్‌బుక్.

నాకు మీ నుండి ఏమి కావాలి

చదవడానికి ఆధారాలతో మూలం మరియు గమ్యస్థాన వ్యవస్థలు, డేటా యొక్క ఒక పని ఉదాహరణ మరియు ఆకట్టుకునేలా అనిపించే షెడ్యూల్ కాకుండా మీకు నిజంగా అవసరమైన షెడ్యూల్.

టర్నరౌండ్ మరియు కమ్యూనికేషన్

మొదటి పని చేసే పైప్‌లైన్ సాధారణంగా ఐదు రోజుల్లోపు, ఉత్పత్తిని తాకడానికి ముందు మీరు తనిఖీ చేయగల స్టేజింగ్ రన్‌తో. నేను సమావేశాల గొలుసు కాకుండా ప్రతి మైలురాయి వద్ద ఒక చిన్న వ్రాతపూర్వక నవీకరణను పంపుతాను మరియు మీ డేటాను ప్రభావితం చేసే ప్రతి నిర్ణయం — నిలుపుదల, బ్యాక్‌ఫిల్ విండో, తిరస్కరించబడిన అడ్డు వరుసలకు ఏమి జరుగుతుంది — మీరు తర్వాత కనుగొనగలిగే చోట వ్రాయబడుతుంది. అందుబాటులో ఉన్న సమయంలో ఏదైనా విశ్వసనీయంగా చేయలేకపోతే, ప్రారంభంలో కనుగొనడానికి బదులుగా ప్రణాళికను మార్చడానికి తగినంత ముందుగానే మీరు వింటారు.