আমি একটি ETL ডেটা পাইপলাইন তৈরি করব যা আপনার সিস্টেমগুলির মধ্যে নির্ভরযোগ্যভাবে ডেটা স্থানান্তর করে

এটি কি

আপনার ইতিমধ্যে চালিত সিস্টেমগুলির মধ্যে একটি নির্ভরযোগ্য পাইপলাইন: ডেটাবেস থেকে গুদাম, CRM থেকে রিপোর্টিং, API থেকে স্প্রেডশীট, অথবা তিনটিই। কাজটি কেবল সহজ পথ নয় — প্রতিটি সরঞ্জাম একবার সারি কপি করতে পারে। কাজটি হল চল্লিশতম দিনে কী ঘটে যখন রাত ২টায় একটি টোকেন মেয়াদোত্তীর্ণ হয়, একটি উৎস একটি নালযোগ্য কলাম যোগ করে, অথবা একটি ব্যাচের মাঝামাঝি সময়ে নেটওয়ার্ক সংযোগ বিচ্ছিন্ন হয়।

আমি কিভাবে এটি তৈরি করি

এক্সট্র্যাক্ট, লোড এবং ট্রান্সফর্ম আলাদা ধাপ, কারণ তারা বিভিন্ন কারণে ব্যর্থ হয় এবং সেগুলিকে ভিন্নভাবে পুনরায় চেষ্টা করা উচিত। এক্সট্র্যাকশন একটি কার্সার বা ওয়াটারমার্ক রেকর্ড করে যাতে একটি রিস্টার্ট নকল করার পরিবর্তে পুনরায় শুরু হয়। লোডিং প্রতি ব্যাচে একটি লেনদেনের ভিতরে চলে, তাই একটি ক্র্যাশ গন্তব্যকে অর্ধেক লেখা না রেখে সামঞ্জস্যপূর্ণ রাখে। ট্রান্সফর্মেশন সংস্করণ করা SQL বা পাইথনে থাকে, একটি ভিজ্যুয়াল বিল্ডারের ভিতরে নয় যেখানে ছয় মাস পরে কেউ এটি পড়তে পারে না।

প্রতিটি রান একটি ম্যানিফেস্ট লেখে: পঠিত সারি, লিখিত সারি, প্রত্যাখ্যাত সারি এবং প্রতিটি প্রত্যাখ্যানের কারণ। একটি প্রাকৃতিক কী এবং একটি হ্যাশ দিয়ে আইডেম্পোটেন্সি প্রয়োগ করা হয়, তাই গতকালের কাজটি পুনরায় চালানো ক্ষতিকারক নয়। স্কিমা পরিবর্তনগুলি লোড ভাঙার আগে সনাক্ত করা হয় এবং তারা নীরবে ব্যর্থ হওয়ার পরিবর্তে সতর্ক করে।

আপনি যা পাবেন

• আপনার রিপোজিটরিতে পাইপলাইন কোড, বাস্তব ডেটার একটি নমুনার বিরুদ্ধে পরীক্ষা সহ।
• একটি সময়সূচী: ক্রন, সিস্টেমডি টাইমার, এয়ারফ্লো বা প্রিফেক্ট আপনার স্ট্যাকের উপর নির্ভর করে।
• সারি গণনা, ব্যর্থতা এবং লেটেন্সি ড্রিফ্টগুলিতে পর্যবেক্ষণ এবং সতর্কতা।
• রিপ্লে, ব্যাকফিল এবং একটি নতুন উৎস যোগ করার পদ্ধতি কভার করে একটি রানবুক।

আপনার কাছ থেকে আমার যা প্রয়োজন

পড়ার শংসাপত্র সহ উৎস এবং গন্তব্য সিস্টেম, ডেটার একটি কার্যকরী উদাহরণ এবং আপনার আসলে যে সময়সূচী প্রয়োজন, যা চিত্তাকর্ষক শোনায় তার চেয়ে।

টার্নঅ্যারাউন্ড এবং যোগাযোগ

প্রথম কার্যকরী পাইপলাইন সাধারণত পাঁচ দিনের মধ্যে, একটি স্টেজিং রান সহ যা আপনি উৎপাদনে স্পর্শ করার আগে পরিদর্শন করতে পারেন। আমি মিটিংয়ের একটি শৃঙ্খলের পরিবর্তে প্রতিটি মাইলস্টোনে একটি সংক্ষিপ্ত লিখিত আপডেট পাঠাই, এবং আপনার ডেটাকে প্রভাবিত করে এমন প্রতিটি সিদ্ধান্ত — ধারণ, ব্যাকফিল উইন্ডো, প্রত্যাখ্যাত সারিগুলির কী হয় — লিখিত থাকে যেখানে আপনি পরে এটি খুঁজে পেতে পারেন। যদি উপলব্ধ সময়ে কিছু নির্ভরযোগ্য করা না যায়, তবে আপনি পরিকল্পনা পরিবর্তন করার জন্য যথেষ্ট তাড়াতাড়ি শুনতে পান, লঞ্চের সময় এটি আবিষ্কার করার পরিবর্তে।