Criarei um pipeline de dados ETL que move dados entre seus sistemas de forma confiável

O que é isso

Um pipeline confiável entre os sistemas que você já executa: banco de dados para data warehouse, CRM para relatórios, API para planilha, ou todos os três. O trabalho não é o caminho feliz — toda ferramenta pode copiar linhas uma vez. O trabalho é o que acontece no quadragésimo dia quando um token expira às 2h da manhã, uma fonte adiciona uma coluna anulável, ou a rede cai no meio de um lote.

Como eu construo

Extrair, carregar e transformar são etapas separadas, porque falham por razões diferentes e devem ser tentadas novamente de forma diferente. A extração registra um cursor ou marca d'água para que um reinício seja retomado em vez de duplicar. O carregamento é executado dentro de uma transação por lote, para que uma falha deixe o destino consistente em vez de parcialmente escrito. A transformação reside em SQL ou Python versionado, não dentro de um construtor visual onde ninguém pode lê-lo seis meses depois.

Cada execução escreve um manifesto: linhas lidas, linhas escritas, linhas rejeitadas e o motivo de cada rejeição. A idempotência é imposta com uma chave natural mais um hash, então reexecutar o trabalho de ontem é inofensivo. As alterações de esquema são detectadas antes de quebrarem uma carga, e elas alertam em vez de falharem silenciosamente.

O que você recebe

• Código do pipeline em seu repositório, com testes contra uma amostra de dados reais.
• Um agendador: cron, systemd timer, Airflow ou Prefect, dependendo da sua pilha.
• Monitoramento e alertas sobre contagens de linhas, falhas e desvios de latência.
• Um manual de execução cobrindo replay, backfill e como adicionar uma nova fonte.

O que preciso de você

Os sistemas de origem e destino com credenciais de leitura, um exemplo funcional dos dados e o cronograma que você realmente precisa, em vez daquele que parece impressionante.

Prazo e comunicação

O primeiro pipeline funcional geralmente em cinco dias, com uma execução de teste que você pode inspecionar antes que ela toque a produção. Envio uma breve atualização por escrito em cada marco, em vez de uma série de reuniões, e cada decisão que afeta seus dados — retenção, janela de backfill, o que acontece com as linhas rejeitadas — é registrada onde você pode encontrá-la mais tarde. Se algo não puder ser tornado confiável no tempo disponível, você será avisado com antecedência suficiente para mudar o plano, em vez de descobrir isso no lançamento.