Я построю конвейер данных ETL, который будет надежно перемещать данные между вашими системами

Что это такое

Надежный конвейер между системами, которые вы уже используете: база данных в хранилище, CRM в отчетность, API в электронную таблицу или все три. Работа заключается не в идеальном сценарии — каждый инструмент может копировать строки один раз. Работа заключается в том, что происходит на сороковой день, когда токен истекает в 2 часа ночи, источник добавляет столбец, допускающий значение null, или сеть обрывается на полпути к пакету.

Как я это строю

Извлечение, загрузка и преобразование — это отдельные шаги, потому что они терпят неудачу по разным причинам и должны быть повторены по-разному. Извлечение записывает курсор или водяной знак, поэтому перезапуск возобновляется вместо дублирования. Загрузка выполняется внутри транзакции для каждого пакета, поэтому сбой оставляет место назначения согласованным, а не частично записанным. Преобразование находится в версионированном SQL или Python, а не внутри визуального конструктора, где никто не сможет прочитать его через шесть месяцев.

Каждый запуск записывает манифест: прочитанные строки, записанные строки, отклоненные строки и причину каждого отклонения. Идемпотентность обеспечивается естественным ключом плюс хешем, поэтому повторный запуск вчерашней задачи безвреден. Изменения схемы обнаруживаются до того, как они нарушат загрузку, и они предупреждают, а не молча терпят неудачу.

Что вы получаете

• Код конвейера в вашем репозитории с тестами на выборке реальных данных.
• Планировщик: cron, таймер systemd, Airflow или Prefect в зависимости от вашего стека.
• Мониторинг и оповещение о количестве строк, сбоях и отклонениях задержки.
• Руководство по эксплуатации, охватывающее повторное воспроизведение, заполнение и добавление нового источника.

Что мне от вас нужно

Исходные и целевые системы с учетными данными для чтения, один рабочий пример данных и расписание, которое вам действительно нужно, а не то, которое звучит впечатляюще.

Сроки выполнения и общение

Первый рабочий конвейер обычно в течение пяти дней, с промежуточным запуском, который вы можете проверить, прежде чем он коснется производства. Я отправляю короткое письменное обновление на каждом этапе, а не цепочку встреч, и каждое решение, которое влияет на ваши данные — хранение, окно заполнения, что происходит с отклоненными строками — записывается там, где вы можете найти его позже. Если что-то не может быть сделано надежным в доступное время, вы узнаете об этом достаточно рано, чтобы изменить план, вместо того чтобы обнаружить это при запуске.