Data Factory의 복사 작업을 사용하면 파이프라인을 만들지 않고도 원본에서 대상으로 데이터를 쉽게 이동할 수 있습니다. 일괄 처리 및 증분 복사 모두에 대한 기본 제공 패턴을 사용하여 데이터 전송을 설정하고 일정에 따라 한 번 또는 복사할 수 있습니다. 이 문서의 단계에 따라 데이터베이스 또는 스토리지에서 데이터 복사를 시작합니다.
데이터베이스에서 데이터를 수집하는 복사 작업 만들기
다음 단계에 따라 데이터베이스에서 데이터를 이동하는 복사 작업을 설정합니다.
새 작업 영역을 만들거나 기존 작업 영역을 사용합니다.
+ 새 항목을 선택하고, 복사 작업 아이콘을 선택하고, 복사 작업의 이름을 지정하고, 만들기를 선택합니다.
데이터를 복사할 데이터베이스를 선택합니다. 이 예제에서는 Azure SQL DB를 사용하고 있습니다.
Azure SQL DB의 경우 서버 경로 및 자격 증명을 입력합니다. 온-프레미스 또는 가상 네트워크 게이트웨이를 사용하여 가상 네트워크 환경 내에서 데이터를 안전하게 복사할 수 있습니다. 다른 데이터베이스의 경우 연결 세부 정보가 달라집니다.
복사할 테이블 및 열을 선택합니다. 검색 상자를 사용하여 복사할 특정 테이블과 열을 식별합니다.
대상 저장소를 선택합니다. 이 예제에서는 다른 Azure SQL DB를 사용하고 있습니다.
(선택 사항) Update 메서드 를 선택하여 데이터가 대상에 기록되는 방법을 결정합니다. 병합을 선택하는 경우 각 행을 식별하는 키 열을 선택합니다.
(선택 사항) 대상의 테이블 또는 열 이름을 바꾸거나 데이터 형식 변환을 적용하도록 테이블 또는 열 매핑을 구성합니다. 기본적으로 데이터는 원본과 동일한 테이블 이름, 열 이름 및 데이터 형식으로 복사됩니다.
복사 모드( 전체 데이터 복사 또는 증분 복사)를 선택합니다. 이 예제에서는 증분 복사본을 사용합니다. 각 테이블에 대해 증분 열을 선택하여 변경된 행을 추적합니다. 미리 보기 단추를 사용하여 오른쪽 열을 찾을 수 있습니다.
비고
증분 복사 모드를 선택하면 복사 작업이 처음에 전체 로드를 수행하고 다음 실행에서 증분 복사본을 수행합니다.
작업 요약을 검토하고, 한 번 또는 일정에 따라 실행할 실행 옵션을 선택하고, 저장 + 실행을 선택합니다.
복사 작업이 즉시 시작되며 각 테이블에 대한 행 수 및 복사 기간을 포함한 정보가 있는 인라인 모니터링 패널에서 작업의 상태를 추적할 수 있습니다. 복사 작업을 모니터링하는 방법에 대한 자세한 정보
일정에 따라 실행되도록 설정된 경우에도 원하는 경우 복사 작업을 실행할 수 있습니다. 언제든지 실행 단추를 선택하고 복사 작업은 마지막 실행 이후 변경된 데이터만 복사합니다.
복사할 테이블 및 열 추가 또는 제거, 일정 구성 또는 고급 설정 조정을 포함하여 언제든지 복사 작업을 편집할 수 있습니다. 증분 열 업데이트와 같은 일부 변경 내용은 다음 실행에서 초기 전체 로드에서 시작하도록 증분 복사본을 다시 설정합니다.
스토리지에서 파일을 수집하는 복사 작업 만들기
다음 단계에 따라 파일 스토리지에서 데이터를 이동하는 복사 작업을 설정합니다.
새 작업 영역을 만들거나 기존 작업 영역을 사용합니다.
+ 새 항목을 선택하고, 복사 작업 아이콘을 선택하고, 복사 작업의 이름을 지정하고, 만들기를 선택합니다.
데이터를 복사할 데이터 저장소를 선택합니다. 이 예제에서는 Azure Data Lake Storage Gen2를 사용했습니다.
Azure Data Lake Storage Gen2에 연결하려면 스토리지 URL 및 자격 증명 을 입력하여 Azure Data Lake Storage Gen2에 연결합니다. 다른 데이터 저장소의 경우 연결 세부 정보가 달라집니다. 온-프레미스 또는 가상 네트워크 게이트웨이를 사용하여 가상 네트워크 환경 내에서 데이터를 안전하게 복사할 수 있습니다.
복사할 폴더 또는 파일을 선택합니다. 모든 파일 또는 단일 파일을 사용하여 전체 폴더를 복사하도록 선택할 수 있습니다.
팁 (조언)
스키마 독립적(이진 복사) 은 스키마를 구문 분석하지 않고 파일을 다른 데이터 저장소에 복사합니다. 이렇게 하면 복사 성능이 크게 향상될 수 있습니다.
대상 저장소를 선택합니다. 이 예제에서는 Lakehouse를 선택했습니다.
대상 스토리지에서 폴더 경로를 선택합니다. 원본과 동일한 폴더 구조를 유지하려면 계층 유지 를 선택하거나 모든 파일을 단일 폴더에 배치하려면 계층을 평면화 합니다.
복사 모드( 전체 데이터 복사 또는 증분 복사)를 선택합니다. 이 예제에서는 복사 작업이 첫 번째 실행의 모든 파일을 복사한 다음 다음 실행에서 새 파일 또는 업데이트된 파일만 복사할 수 있도록 증분 복사 를 사용합니다.
작업 요약을 검토하고, 한 번 또는 일정에 따라 실행할 실행 옵션을 선택하고, 저장 + 실행을 선택합니다.
복사 작업이 즉시 시작되며 각 테이블에 대한 행 수 및 복사 기간을 포함한 정보가 있는 인라인 모니터링 패널에서 작업의 상태를 추적할 수 있습니다. 복사 작업을 모니터링하는 방법에 대한 자세한 정보
일정에 따라 실행되도록 설정된 경우에도 복사 작업을 원할 때마다 다시 실행할 수 있습니다. 언제든지 실행 단추를 선택하고 복사 작업은 마지막 실행 이후 변경된 데이터만 복사합니다.
일정 구성 또는 고급 설정 조정을 포함하여 언제든지 복사 작업을 편집할 수도 있습니다.
알려진 제한 사항
- 현재 증분 복사 모드는 일부 원본에서만 작동합니다. 자세한 내용은 복사 작업에 대해 지원되는 커넥터를 참조하세요.
- 원본 저장소에서 행 삭제를 캡처할 수 없습니다.
- 스토리지 위치에 파일을 복사할 때 원본에서 로드된 데이터가 없는 경우 대상에 빈 파일이 만들어집니다.