我将构建一个ETL数据管道，可靠地在您的系统之间移动数据

这是什么

在您已运行的系统之间建立可靠的管道：数据库到仓库、CRM到报告、API到电子表格，或三者兼有。这项工作不仅仅是顺利的路径——每个工具都可以复制一次行。这项工作是在第四十天，当令牌在凌晨2点过期，源添加了一个可空列，或者网络在批处理中途中断时会发生什么。

我如何构建它

提取、加载和转换是独立的步骤，因为它们失败的原因不同，应该以不同的方式重试。提取记录游标或水印，以便重新启动而不是重复。加载在每个批次的事务中运行，因此崩溃会使目标保持一致而不是只写入一半。转换存在于版本化的SQL或Python中，而不是在六个月后无人能阅读的可视化构建器中。

每次运行都会写入一个清单：读取的行数、写入的行数、拒绝的行数以及每次拒绝的原因。幂等性通过自然键加哈希强制执行，因此重新运行昨天的工作是无害的。模式更改在破坏加载之前被检测到，并且它们会发出警报而不是静默失败。

您将获得

• 您存储库中的管道代码，以及针对真实数据样本的测试。
• 一个调度器：cron、systemd计时器、Airflow或Prefect，具体取决于您的堆栈。
• 对行数、故障和延迟漂移进行监控和警报。
• 一本涵盖重放、回填以及如何添加新源的运行手册。

我需要您提供什么

具有读取凭据的源和目标系统，一个可用的数据示例，以及您实际需要的调度，而不是听起来令人印象深刻的调度。

周转和沟通

第一个可用的管道通常在五天内完成，并提供一个您可以检查的暂存运行，然后它才会触及生产环境。我在每个里程碑都会发送一份简短的书面更新，而不是一系列会议，并且每个影响您数据的决策——保留、回填窗口、被拒绝的行会发生什么——都会被记录下来，以便您以后可以找到。如果某些内容无法在可用时间内变得可靠，您会及早得知，以便更改计划，而不是在发布时才发现。