Tôi sẽ xây dựng một quy trình dữ liệu ETL di chuyển dữ liệu giữa các hệ thống của bạn một cách đáng tin cậy

Đây là gì

Một đường ống đáng tin cậy giữa các hệ thống bạn đang chạy: cơ sở dữ liệu đến kho dữ liệu, CRM đến báo cáo, API đến bảng tính hoặc cả ba. Công việc không phải là con đường hạnh phúc — mọi công cụ đều có thể sao chép hàng một lần. Công việc là những gì xảy ra vào ngày thứ bốn mươi khi một mã thông báo hết hạn lúc 2 giờ sáng, một nguồn thêm một cột có thể rỗng hoặc mạng bị gián đoạn giữa chừng một lô.

Cách tôi xây dựng nó

Trích xuất, tải và chuyển đổi là các bước riêng biệt, vì chúng thất bại vì những lý do khác nhau và nên được thử lại khác nhau. Trích xuất ghi lại một con trỏ hoặc dấu thời gian để một lần khởi động lại tiếp tục thay vì trùng lặp. Tải chạy bên trong một giao dịch cho mỗi lô, vì vậy một sự cố sẽ khiến đích nhất quán thay vì ghi một nửa. Chuyển đổi nằm trong SQL hoặc Python được phiên bản hóa, không phải bên trong một trình xây dựng trực quan mà không ai có thể đọc được sáu tháng sau đó.

Mỗi lần chạy ghi một bản kê khai: số hàng đã đọc, số hàng đã ghi, số hàng bị từ chối và lý do cho mỗi lần từ chối. Tính độc lập được thực thi bằng một khóa tự nhiên cộng với một hàm băm, vì vậy việc chạy lại công việc của ngày hôm qua là vô hại. Các thay đổi lược đồ được phát hiện trước khi chúng làm hỏng tải và chúng cảnh báo thay vì thất bại âm thầm.

Những gì bạn nhận được

• Mã đường ống trong kho lưu trữ của bạn, với các thử nghiệm chống lại một mẫu dữ liệu thực.
• Một bộ lập lịch: cron, bộ hẹn giờ systemd, Airflow hoặc Prefect tùy thuộc vào ngăn xếp của bạn.
• Giám sát và cảnh báo về số lượng hàng, lỗi và độ trễ.
• Một sổ tay vận hành bao gồm phát lại, điền lại và cách thêm một nguồn mới.

Những gì tôi cần từ bạn

Các hệ thống nguồn và đích với thông tin đăng nhập đọc, một ví dụ hoạt động của dữ liệu và lịch trình bạn thực sự cần thay vì lịch trình nghe có vẻ ấn tượng.

Thời gian hoàn thành và giao tiếp

Đường ống hoạt động đầu tiên thường trong vòng năm ngày, với một lần chạy thử nghiệm mà bạn có thể kiểm tra trước khi nó chạm đến sản xuất. Tôi gửi một bản cập nhật ngắn bằng văn bản tại mỗi cột mốc thay vì một chuỗi các cuộc họp, và mọi quyết định ảnh hưởng đến dữ liệu của bạn — lưu giữ, cửa sổ điền lại, điều gì xảy ra với các hàng bị từ chối — đều được ghi lại ở nơi bạn có thể tìm thấy sau này. Nếu một điều gì đó không thể được thực hiện đáng tin cậy trong thời gian có sẵn, bạn sẽ biết sớm đủ để thay đổi kế hoạch thay vì phát hiện ra nó khi ra mắt.