Ще изградя ETL канал за данни, който надеждно премества данни между вашите системи

Какво е това

Надежден канал между системите, които вече използвате: база данни към хранилище, CRM към отчитане, API към електронна таблица или и трите. Работата не е лесният път — всеки инструмент може да копира редове веднъж. Работата е какво се случва на четиридесетия ден, когато токен изтече в 2 сутринта, източник добави колона, която може да бъде null, или мрежата прекъсне по средата на партида.

Как го изграждам

Извличането, зареждането и трансформирането са отделни стъпки, защото се провалят по различни причини и трябва да се повтарят по различен начин. Извличането записва курсор или воден знак, така че рестартирането да продължи, вместо да дублира. Зареждането се изпълнява в транзакция за всяка партида, така че срив оставя дестинацията последователна, а не наполовина записана. Трансформацията живее във версииран SQL или Python, а не във визуален конструктор, където никой не може да я прочете шест месеца по-късно.

Всяко изпълнение записва манифест: прочетени редове, записани редове, отхвърлени редове и причината за всяко отхвърляне. Идемпотентността се налага с естествен ключ плюс хеш, така че повторното изпълнение на вчерашната задача е безвредно. Промените в схемата се откриват, преди да прекъснат зареждането, и те сигнализират, вместо да се провалят мълчаливо.

Какво получавате

• Код на канала във вашето хранилище, с тестове срещу извадка от реални данни.
• Планировчик: cron, systemd таймер, Airflow или Prefect в зависимост от вашия стек.
• Мониторинг и сигнализиране за броя на редовете, грешки и отклонения в латентността.
• Наръчник, обхващащ повторно възпроизвеждане, попълване на данни и как да добавите нов източник.

Какво ми трябва от вас

Изходните и целевите системи с идентификационни данни за четене, един работещ пример за данните и графикът, от който действително се нуждаете, а не този, който звучи впечатляващо.

Време за изпълнение и комуникация

Първият работещ канал обикновено е готов в рамките на пет дни, с тестово изпълнение, което можете да проверите, преди да достигне до продукция. Изпращам кратка писмена актуализация на всеки етап, вместо поредица от срещи, и всяко решение, което засяга вашите данни — запазване, прозорец за попълване на данни, какво се случва с отхвърлените редове — е записано, където можете да го намерите по-късно. Ако нещо не може да бъде направено надеждно в наличното време, ще разберете достатъчно рано, за да промените плана, вместо да го откриете при стартиране.