시스템 간에 데이터를 안정적으로 이동하는 ETL 데이터 파이프라인을 구축하겠습니다.

이것은 무엇인가요?

이미 실행 중인 시스템 간의 안정적인 파이프라인: 데이터베이스에서 웨어하우스로, CRM에서 보고서로, API에서 스프레드시트로, 또는 이 세 가지 모두. 이 작업은 행복한 경로가 아닙니다. 모든 도구는 한 번에 행을 복사할 수 있습니다. 이 작업은 토큰이 새벽 2시에 만료되거나, 소스가 널(nullable) 열을 추가하거나, 배치 중간에 네트워크가 끊어지는 40일째에 발생하는 일입니다.

어떻게 구축하나요?

추출, 로드 및 변환은 별도의 단계입니다. 왜냐하면 서로 다른 이유로 실패하고 다르게 재시도해야 하기 때문입니다. 추출은 커서 또는 워터마크를 기록하여 다시 시작할 때 중복되지 않고 재개됩니다. 로드는 배치당 트랜잭션 내에서 실행되므로 충돌이 발생해도 대상이 반쯤 작성된 상태가 아니라 일관된 상태로 유지됩니다. 변환은 6개월 후에 아무도 읽을 수 없는 시각적 빌더 내부가 아니라 버전 관리되는 SQL 또는 Python에 있습니다.

모든 실행은 매니페스트를 작성합니다. 읽은 행, 작성된 행, 거부된 행, 그리고 각 거부 이유. 멱등성은 자연 키와 해시로 강제 적용되므로 어제 작업을 다시 실행해도 무해합니다. 스키마 변경은 로드를 중단하기 전에 감지되며, 조용히 실패하는 대신 경고합니다.

얻게 될 것

• 실제 데이터 샘플에 대한 테스트가 포함된 리포지토리의 파이프라인 코드.
• 스택에 따라 cron, systemd 타이머, Airflow 또는 Prefect 스케줄러.
• 행 수, 실패 및 지연 시간 편차에 대한 모니터링 및 경고.
• 재생, 백필 및 새 소스를 추가하는 방법을 다루는 런북.

제가 필요한 것

읽기 자격 증명이 있는 원본 및 대상 시스템, 데이터의 작동 예시 하나, 그리고 인상적으로 들리는 일정 대신 실제로 필요한 일정.

처리 시간 및 커뮤니케이션

일반적으로 5일 이내에 첫 번째 작동 파이프라인이 완성되며, 프로덕션에 적용하기 전에 검사할 수 있는 스테이징 실행이 제공됩니다. 회의를 연속으로 진행하는 대신 각 마일스톤마다 짧은 서면 업데이트를 보내드리며, 데이터에 영향을 미치는 모든 결정(보존, 백필 기간, 거부된 행 처리 방법)은 나중에 찾을 수 있도록 기록됩니다. 사용 가능한 시간 내에 안정적으로 만들 수 없는 것이 있다면, 출시 시점에 발견하는 대신 계획을 변경할 수 있도록 조기에 알려드립니다.