다음을 통해 공유


미리 보기: 복사 작업의 변경 데이터 캡처(CDC)

이 문서에서는 복사 작업의 CDC(변경 데이터 캡처) 기능과 이를 사용하는 방법을 설명합니다.

복사 작업의 CDC(변경 데이터 캡처)란?

복사 작업의 CDC(변경 데이터 캡처)는 원본에서 대상으로의 삽입, 업데이트 및 삭제된 레코드를 포함하여 변경된 데이터의 효율적이고 자동화된 복제를 가능하게 하는 Fabric Data Factory의 강력한 기능입니다. 이렇게 하면 수동 작업 없이 대상 데이터가 최신 상태로 유지되어 원본 시스템의 부하를 줄이면서 데이터 통합의 효율성이 향상됩니다.

복사 작업에서 CDC의 주요 이점

  • 수동 개입 0개: 원본에서 직접 증분 변경 내용(삽입, 업데이트, 삭제)을 자동으로 캡처합니다.
  • 자동 복제: 대상 데이터를 원본 변경 내용과 지속적으로 동기화합니다.
  • 최적화된 성능: 변경된 데이터만 처리하여 처리 시간을 줄이고 원본에 대한 부하를 최소화합니다.
  • 더 스마트한 증분 복사: CDC 지원 원본 테이블을 자동으로 검색하고 각 테이블에 대해 CDC 기반 또는 워터마크 기반 증분 복사본을 선택할 수 있습니다.

작동 방식: CDC 기반 및 워터마크 기반 증분 복사

  • CDC 기반 증분 복사: 원본 데이터베이스에 CDC가 사용하도록 설정된 경우 복사 작업은 삽입, 업데이트 및 삭제를 대상에 자동으로 캡처하고 복제하여 정확한 변경 내용을 적용합니다.
  • 워터마크 기반 증분 복사: 원본 데이터베이스에서 CDC를 사용하도록 설정하지 않은 경우 복사 작업은 마지막 실행과 증분 열(예: 타임스탬프 또는 ID)을 비교하여 변경 내용을 감지한 다음, 구성에 따라 변경된 데이터를 대상에 추가하거나 병합합니다.

지원되는 커넥터

현재 복사 작업의 CDC는 다음 원본 및 대상 데이터 저장소를 지원합니다. 우리는 더 추가하고 계속 지켜봐 주시기 바랍니다.

지원되는 원본 저장소:

  • Azure SQL DB
  • 내부 설치형 SQL Server
  • Azure SQL 관리형 인스턴스
  • 패브릭 레이크하우스 테이블

지원되는 대상 저장소:

  • Azure SQL DB
  • 내부 설치형 SQL Server
  • Azure SQL 관리형 인스턴스
  • 패브릭 SQL 데이터베이스 (미리 보기)
  • Snowflake

시작하는 방법:

CDC를 통해 Azure SQL DB에서 다른 Azure SQL DB로 데이터를 수집하는 새 복사 작업을 만들려면 다음 단계를 완료합니다.

  1. 지원되는 원본 저장소의 데이터베이스 및 테이블에서 CDC(변경 데이터 캡처)가 사용하도록 설정되어 있는지 확인합니다. 이 경우 Azure SQL DB입니다.

    cdc db를 사용하도록 설정하는 방법을 보여 주는 스크린샷

    cdc 테이블을 사용하도록 설정하는 방법을 보여 주는 스크린샷

    Note

    • 위에서 언급한 모든 테이블에 대해 CDC를 사용하도록 설정하는 것이 좋습니다.
    • supports_net_changes가 활성화되어 있는지 확인하십시오.
    • 원본 테이블의 모든 열은 기본적으로 캡처된 열로 식별되어야 합니다.

    SQL Server에서 변경 데이터 캡처 사용 및 사용 안 함에 대한 더 자세한 정보는 Microsoft Learn에서 확인하세요.

  2. + 새 항목을 선택하고, 복사 작업 아이콘을 선택하고, 복사 작업의 이름을 지정하고, 만들기를 클릭합니다.

    Data Factory 홈페이지로 이동하고 새 복사 작업을 만들 위치를 보여 주는 스크린샷

  3. 데이터를 복사할 데이터 저장소를 선택합니다. 이 예제에서는 Azure SQL DB를 선택합니다.

    복사 작업의 데이터 원본을 선택할 위치를 보여 주는 스크린샷

  4. 서버 경로자격 증명을 입력하여 Azure SQL DB에 연결합니다. 온-프레미스 또는 VNET 게이트웨이를 사용하여 VNET 환경 내에서 데이터를 안전하게 복사할 수 있습니다.

    자격 증명을 입력할 위치를 보여 주는 스크린샷

  5. CDC를 사용하도록 설정된 원본 테이블을 명확하게 표시해야 합니다. CDC가 사용 설정된 테이블을 선택하여 복사합니다.

    CDC가 활성화된 테이블: cdc 테이블 아이콘을 보여 주는 스크린샷

    CDC를 사용하지 않는 테이블: cdc 테이블 없음 아이콘을 보여 주는 스크린샷

    복사 작업에 대한 cdc 테이블을 선택할 위치를 보여 주는 스크린샷

    Note

    • 패브릭 레이크하우스 테이블에서 현재 CDF가 활성화되어 있는지 확인할 수 없습니다.
  6. 대상 저장소를 선택합니다. 이 예제에서는 다른 Azure SQL DB를 선택합니다.

    복사 작업의 대상 저장소를 선택할 위치를 보여 주는 스크린샷

  7. 기본 Update 메서드Merge로 설정해야 하며 필요한 키 열은 기본적으로 원본 저장소에 정의된 기본 키와 일치합니다.

    CDC에 대한 업데이트 방법을 보여 주는 스크린샷.

  8. 증분 복사를 선택하면 변경 내용을 추적하기 위해 입력해야 하는 각 테이블에 대한 증분 열이 표시되지 않습니다.

    Note

    복사 작업은 처음에 전체 로드를 수행하고 이후 CDC를 통해 후속 실행에서 증분 복사본을 수행합니다.

    CDC를 선택할 위치를 보여 주는 스크린샷.

  9. 작업 요약을 검토하고 실행 옵션을 일정에 따라 설정하고 저장 + 실행을 클릭합니다.

    새로 만든 복사 작업을 검토하고 저장할 위치를 보여 주는 스크린샷

    Note

    CDC 로그 보존 기간이 예약된 실행 사이의 간격보다 긴지 확인하세요. 그렇지 않으면 보존 기간 내에 처리되지 않으면 CDC에서 캡처한 변경된 데이터가 손실될 수 있습니다.

  10. 복사 작업이 즉시 시작됩니다. 첫 번째 실행은 초기 전체 스냅샷을 복사합니다.

    초기 전체 스냅샷을 모니터링할 수 있는 복사 작업 패널을 보여 주는 스크린샷

  11. 행을 삽입, 업데이트 또는 삭제하여 원본 테이블을 업데이트합니다.

    행을 업데이트하는 방법을 보여 주는 스크린샷

  12. 복사 작업을 다시 실행하여 삽입, 업데이트 및 삭제된 행을 비롯한 모든 변경 내용을 대상에 캡처하고 복제합니다.

    모든 변경 내용 캡처 및 복제를 모니터링할 수 있는 복사 작업 패널을 보여 주는 스크린샷

알려진 제한 사항

  • CDC 사용 및 CDC 사용이 아닌 원본 테이블이 복사 작업에서 선택된 경우 모든 테이블을 워터마크 기반 증분 복사본으로 처리합니다.
  • CDC 사용 원본 테이블을 선택하면 열 매핑을 구성할 수 없습니다.
  • 사용자 지정 캡처 인스턴스는 지원되지 않습니다. 기본 캡처 인스턴스만 지원됩니다.
  • 복합 기본 키는 변경 내용을 병합하는 데 아직 지원되지 않습니다.
  • SCD2는 아직 CDC 지원 원본 데이터 저장소에 대해 지원되지 않습니다.
  • DDL은 복사 작업에서 아직 지원되지 않습니다.