Я створю конвеєр даних ETL, який надійно переміщуватиме дані між вашими системами

Що це таке

Надійний конвеєр між системами, які ви вже використовуєте: база даних до сховища, CRM до звітності, API до електронної таблиці або всі три. Робота полягає не в ідеальному сценарії — кожен інструмент може копіювати рядки один раз. Робота полягає в тому, що відбувається на сороковий день, коли токен закінчується о 2 ночі, джерело додає стовпець, що допускає значення null, або мережа розривається на половині пакету.

Як я це будую

Вилучення, завантаження та перетворення є окремими кроками, оскільки вони виходять з ладу з різних причин і повинні бути повторені по-різному. Вилучення записує курсор або водяний знак, тому перезапуск відновлюється замість дублювання. Завантаження виконується в рамках транзакції для кожного пакету, тому збій залишає цільове місце призначення узгодженим, а не частково записаним. Перетворення зберігається у версійному SQL або Python, а не у візуальному конструкторі, де ніхто не зможе його прочитати через шість місяців.

Кожен запуск записує маніфест: прочитані рядки, записані рядки, відхилені рядки та причину кожного відхилення. Ідемпотентність забезпечується природним ключем плюс хешем, тому повторний запуск вчорашнього завдання нешкідливий. Зміни схеми виявляються до того, як вони порушать завантаження, і вони сповіщають, а не тихо виходять з ладу.

Що ви отримуєте

• Код конвеєра у вашому репозиторії, з тестами на зразку реальних даних.
• Планувальник: cron, таймер systemd, Airflow або Prefect залежно від вашого стека.
• Моніторинг та сповіщення про кількість рядків, збої та відхилення затримки.
• Інструкція з експлуатації, що охоплює відтворення, заповнення та додавання нового джерела.

Що мені потрібно від вас

Вихідні та цільові системи з обліковими даними для читання, один робочий приклад даних та графік, який вам дійсно потрібен, а не той, що звучить вражаюче.

Терміни виконання та комунікація

Перший робочий конвеєр зазвичай протягом п'яти днів, з проміжним запуском, який ви можете перевірити, перш ніж він торкнеться виробництва. Я надсилаю коротке письмове оновлення на кожному етапі, а не ланцюжок зустрічей, і кожне рішення, що впливає на ваші дані — збереження, вікно заповнення, що відбувається з відхиленими рядками — записується там, де ви можете знайти його пізніше. Якщо щось не може бути зроблено надійним за наявний час, ви дізнаєтеся про це досить рано, щоб змінити план, замість того, щоб виявити це під час запуску.