システム間でデータを確実に移動するETLデータパイプラインを構築します

これは何ですか

お客様がすでに実行しているシステム間（データベースからウェアハウス、CRMからレポート、APIからスプレッドシート、またはその3つすべて）の信頼性の高いパイプラインです。この仕事はハッピーパスではありません。すべてのツールは一度に行をコピーできます。この仕事は、トークンが午前2時に期限切れになったり、ソースがnull許容列を追加したり、バッチの途中でネットワークが切断されたりする40日目に何が起こるかです。

構築方法

抽出、ロード、変換は別々のステップです。なぜなら、それぞれ異なる理由で失敗し、異なる方法で再試行する必要があるからです。抽出はカーソルまたはウォーターマークを記録するため、再起動は重複するのではなく再開します。ロードはバッチごとにトランザクション内で実行されるため、クラッシュが発生しても宛先は半分書き込まれた状態ではなく一貫した状態を保ちます。変換はバージョン管理されたSQLまたはPythonに存在し、6か月後に誰も読めなくなるようなビジュアルビルダー内にはありません。

すべての実行はマニフェストを書き込みます。読み取られた行、書き込まれた行、拒否された行、および各拒否の理由です。べき等性は自然キーとハッシュで強制されるため、昨日のジョブを再実行しても無害です。スキーマの変更はロードを中断する前に検出され、サイレントに失敗するのではなくアラートを発します。

得られるもの

• テストと実際のデータのサンプルに対するテストを含む、リポジトリ内のパイプラインコード。
• スケジューラ: cron、systemdタイマー、Airflow、またはPrefect（スタックによって異なります）。
• 行数、障害、遅延の変動に関する監視とアラート。
• リプレイ、バックフィル、新しいソースの追加方法をカバーするランブック。

あなたから必要なもの

読み取り資格情報を持つソースおよび宛先システム、データの動作例、そして印象的に聞こえるものではなく、実際に必要なスケジュール。

納期とコミュニケーション

通常、最初の動作するパイプラインは5日以内に完成し、本番環境に触れる前に検査できるステージング実行が可能です。会議の連鎖ではなく、各マイルストーンで短い書面による更新を送信し、データに影響を与えるすべての決定（保持、バックフィルウィンドウ、拒否された行の処理方法）は、後で参照できるように書き留められます。利用可能な時間内に信頼性を確保できない場合は、ローンチ時に発見するのではなく、計画を変更するのに十分なほど早く通知されます。