მე ავაშენებ ETL მონაცემთა მილსადენს, რომელიც საიმედოდ გადაიტანს მონაცემებს თქვენს სისტემებს შორის

რა არის ეს

საიმედო მილსადენი თქვენს მიერ უკვე გაშვებულ სისტემებს შორის: მონაცემთა ბაზიდან საწყობში, CRM-დან ანგარიშგებაში, API-დან ცხრილში, ან სამივე. სამუშაო არ არის ბედნიერი გზა — ყველა ხელსაწყოს შეუძლია რიგების ერთხელ კოპირება. სამუშაო არის ის, რაც ხდება მეორმოცე დღეს, როდესაც ჟეტონი იწურება დილის 2 საათზე, წყარო ამატებს ნულოვანი მნიშვნელობის მქონე სვეტს, ან ქსელი წყდება პარტიის შუა გზაზე.

როგორ ვაშენებ მას

ამოღება, ჩატვირთვა და ტრანსფორმაცია ცალკეული ნაბიჯებია, რადგან ისინი სხვადასხვა მიზეზით მარცხდებიან და სხვადასხვანაირად უნდა განმეორდეს. ამოღება აღრიცხავს კურსორს ან წყლის ნიშანს, ასე რომ გადატვირთვა განახლდება დუბლირების ნაცვლად. ჩატვირთვა ხორციელდება ტრანზაქციის შიგნით თითო პარტიაზე, ასე რომ ავარია ტოვებს დანიშნულებას თანმიმდევრულად და არა ნახევრად ჩაწერილს. ტრანსფორმაცია ცხოვრობს ვერსიულ SQL-ში ან Python-ში, და არა ვიზუალურ მშენებელში, სადაც ექვსი თვის შემდეგ ვერავინ წაიკითხავს მას.

ყოველი გაშვება წერს მანიფესტს: წაკითხული რიგები, ჩაწერილი რიგები, უარყოფილი რიგები და ყოველი უარყოფის მიზეზი. იდემპოტენტურობა აღსრულებულია ბუნებრივი გასაღებით პლუს ჰეშით, ასე რომ გუშინდელი სამუშაოს ხელახალი გაშვება უვნებელია. სქემის ცვლილებები გამოვლენილია, სანამ ისინი ჩატვირთვას დაარღვევენ, და ისინი აფრთხილებენ ჩუმად მარცხის ნაცვლად.

რას მიიღებთ

• მილსადენის კოდი თქვენს საცავში, რეალური მონაცემების ნიმუშის წინააღმდეგ ტესტებით.
• განრიგი: cron, systemd timer, Airflow ან Prefect თქვენი სტეკის მიხედვით.
• მონიტორინგი და გაფრთხილება რიგების რაოდენობაზე, წარუმატებლობებზე და შეყოვნების ცვლილებებზე.
• გაშვების წიგნი, რომელიც მოიცავს ხელახლა დაკვრას, უკან შევსებას და ახალი წყაროს დამატებას.

რა მჭირდება თქვენგან

წყარო და დანიშნულების სისტემები წაკითხვის სერთიფიკატებით, მონაცემების ერთი სამუშაო მაგალითი და განრიგი, რომელიც რეალურად გჭირდებათ და არა ის, რომელიც შთამბეჭდავად ჟღერს.

შესრულების დრო და კომუნიკაცია

პირველი სამუშაო მილსადენი ჩვეულებრივ ხუთი დღის განმავლობაში, სტაგინგის გაშვებით, რომლის შემოწმებაც შეგიძლიათ წარმოებაში შეხებამდე. მე ვაგზავნი მოკლე წერილობით განახლებას ყოველ ეტაპზე შეხვედრების ჯაჭვის ნაცვლად, და ყოველი გადაწყვეტილება, რომელიც გავლენას ახდენს თქვენს მონაცემებზე — შენახვა, უკან შევსების ფანჯარა, რა ხდება უარყოფილ რიგებთან — ჩაწერილია იქ, სადაც მოგვიანებით შეგიძლიათ იპოვოთ. თუ რაღაცის საიმედოდ გაკეთება შეუძლებელია ხელმისაწვდომ დროში, ამას ადრე გაიგებთ, რათა შეცვალოთ გეგმა, ნაცვლად იმისა, რომ გაშვებისას აღმოაჩინოთ.