Θα δημιουργήσω μια διοχέτευση δεδομένων ETL που μετακινεί δεδομένα μεταξύ των συστημάτων σας αξιόπιστα

Τι είναι αυτό

Μια αξιόπιστη διοχέτευση μεταξύ των συστημάτων που ήδη χρησιμοποιείτε: βάση δεδομένων σε αποθήκη, CRM σε αναφορές, API σε υπολογιστικό φύλλο ή και τα τρία. Η δουλειά δεν είναι η ιδανική περίπτωση — κάθε εργαλείο μπορεί να αντιγράψει γραμμές μία φορά. Η δουλειά είναι τι συμβαίνει την τεσσαρακοστή μέρα όταν ένα διακριτικό λήγει στις 2 π.μ., μια πηγή προσθέτει μια στήλη που μπορεί να είναι null ή το δίκτυο πέφτει στη μέση μιας παρτίδας.

Πώς το κατασκευάζω

Η εξαγωγή, η φόρτωση και ο μετασχηματισμός είναι ξεχωριστά βήματα, επειδή αποτυγχάνουν για διαφορετικούς λόγους και πρέπει να επαναληφθούν διαφορετικά. Η εξαγωγή καταγράφει έναν δρομέα ή υδατογράφημα, ώστε μια επανεκκίνηση να συνεχίζει αντί να διπλασιάζει. Η φόρτωση εκτελείται μέσα σε μια συναλλαγή ανά παρτίδα, οπότε μια συντριβή αφήνει τον προορισμό συνεπή αντί να είναι μισογραμμένος. Ο μετασχηματισμός ζει σε εκδόσεις SQL ή Python, όχι μέσα σε έναν οπτικό κατασκευαστή όπου κανείς δεν μπορεί να τον διαβάσει έξι μήνες αργότερα.

Κάθε εκτέλεση γράφει ένα μανιφέστο: γραμμές που διαβάστηκαν, γραμμές που γράφτηκαν, γραμμές που απορρίφθηκαν και ο λόγος για κάθε απόρριψη. Η ιδιοδυναμία επιβάλλεται με ένα φυσικό κλειδί συν ένα κατακερματισμό, οπότε η επανεκτέλεση της χθεσινής εργασίας είναι ακίνδυνη. Οι αλλαγές σχήματος ανιχνεύονται πριν χαλάσουν μια φόρτωση και ειδοποιούν αντί να αποτυγχάνουν σιωπηλά.

Τι παίρνετε

• Κώδικας διοχέτευσης στο αποθετήριό σας, με δοκιμές έναντι ενός δείγματος πραγματικών δεδομένων.
• Ένας προγραμματιστής: cron, systemd timer, Airflow ή Prefect ανάλογα με τη στοίβα σας.
• Παρακολούθηση και ειδοποιήσεις για τον αριθμό γραμμών, τις αποτυχίες και τις αποκλίσεις καθυστέρησης.
• Ένα εγχειρίδιο λειτουργίας που καλύπτει την επανάληψη, την αναπλήρωση και τον τρόπο προσθήκης μιας νέας πηγής.

Τι χρειάζομαι από εσάς

Τα συστήματα πηγής και προορισμού με διαπιστευτήρια ανάγνωσης, ένα λειτουργικό παράδειγμα των δεδομένων και το πρόγραμμα που πραγματικά χρειάζεστε αντί για αυτό που ακούγεται εντυπωσιακό.

Χρόνος παράδοσης και επικοινωνία

Η πρώτη λειτουργική διοχέτευση συνήθως εντός πέντε ημερών, με μια δοκιμαστική εκτέλεση που μπορείτε να επιθεωρήσετε πριν αγγίξει την παραγωγή. Στέλνω μια σύντομη γραπτή ενημέρωση σε κάθε ορόσημο αντί για μια σειρά συναντήσεων, και κάθε απόφαση που επηρεάζει τα δεδομένα σας — διατήρηση, παράθυρο αναπλήρωσης, τι συμβαίνει στις απορριφθείσες γραμμές — καταγράφεται όπου μπορείτε να τη βρείτε αργότερα. Εάν κάτι δεν μπορεί να γίνει αξιόπιστο στον διαθέσιμο χρόνο, το μαθαίνετε αρκετά νωρίς για να αλλάξετε το σχέδιο αντί να το ανακαλύψετε κατά την εκκίνηση.