이제 Dataflow Gen2는 CI/CD(연속 통합/지속적인 배포) 및 Git 통합을 지원합니다. 이 기능을 사용하면 패브릭 작업 영역에 연결된 Git 리포지토리에서 데이터 흐름을 만들고, 편집하고, 관리할 수 있습니다. 또한 배포 파이프라인 기능을 사용하여 작업 영역에서 다른 작업 영역으로의 데이터 흐름 배포를 자동화할 수 있습니다. 이 문서에서는 Fabric Data Factory에서 CI/CD 및 Git 통합과 함께 Dataflow Gen2를 사용하는 방법을 자세히 설명합니다.
새로운 기능
이제 CI/CD(Dataflow Gen2)를 사용하여 다음을 수행할 수 있습니다.
- Dataflow Gen2에 Git 통합 지원을 사용합니다.
- 배포 파이프라인 기능을 사용하여 작업 영역에서 다른 작업 영역으로의 데이터 흐름 배포를 자동화합니다.
- 패브릭 설정 및 스케줄러를 사용하여 Dataflow Gen2에 대한 설정을 새로 고치고 편집합니다.
- Dataflow Gen2를 작업 영역 폴더에 직접 만듭니다.
- 공용 API(미리 보기)를 사용하여 CI/CD 및 Git 통합을 사용하여 Dataflow Gen2를 만들고 관리합니다.
필수 조건
시작하려면 먼저 다음 필수 조건을 완료해야 합니다.
- 활성 구독이 있는 Microsoft Fabric 테넌트 계정이 있어야 합니다. 무료로 계정을 만듭니다.
- Microsoft Fabric 사용 작업 영역이 있는지 확인합니다.
- Git 통합을 사용하려면 작업 영역에 대해 사용하도록 설정되어 있는지 확인하세요. Git 통합을 사용하도록 설정하는 방법에 대해 자세히 알아보려면 Git 통합 시작으로 이동하세요.
CI/CD 및 Git 지원을 사용하여 Dataflow Gen2 만들기
CI/CD 및 Git 지원을 사용하여 Dataflow Gen2를 만들려면 다음 단계를 수행합니다.
패브릭 작업 영역에서 새 항목 만들기를 선택한 다음, Dataflow Gen2를 선택합니다.
데이터 흐름에 이름을 지정하고 Git 통합을 사용하도록 설정합니다. 그런 다음 만들기를 선택합니다.
데이터 흐름이 만들어지고 데이터 흐름 작성 캔버스로 리디렉션됩니다. 이제 데이터 흐름 만들기를 시작할 수 있습니다.
데이터 흐름 개발을 마쳤으면 저장 및 실행을 선택합니다.
게시한 후 데이터 흐름은 커밋되지 않은 상태가 됩니다.
데이터 흐름을 Git 리포지토리에 커밋하려면 작업 영역 보기의 오른쪽 위 모서리에 있는 소스 제어 아이콘을 선택합니다.
커밋하려는 모든 변경 내용을 선택한 다음 커밋을 선택합니다.
이제 CI/CD 및 Git을 지원하는 Dataflow Gen2가 있습니다. 패브릭의 CI/CD 및 Git 통합 작업에 대한 모범 사례는 시나리오 2 - 다른 작업 영역을 사용하여 개발하기 자습서에 설명된 대로 따르시길 권장합니다.
Dataflow Gen2의 새로 고침 또는 새로 고침 예약
수동으로 또는 새로 고침을 예약하여 CI/CD 및 Git 지원을 사용하여 Dataflow Gen2를 새로 고칠 수 있습니다. 다음 섹션에서는 CI/CD 및 Git 지원을 사용하여 Dataflow Gen2를 새로 고치는 방법을 설명합니다.
지금 새로 고침
패브릭 작업 영역에서 새로 고치려는 데이터 흐름 옆에 있는 더 많은 옵션 줄임표 아이콘을 선택합니다.
지금 새로 고침을 선택합니다.
새로 고침 예약
데이터 흐름을 정기적으로 새로 고쳐야 하는 경우 패브릭 스케줄러를 사용하여 새로 고침을 예약할 수 있습니다.
패브릭 작업 영역에서 새로 고치려는 데이터 흐름 옆에 있는 더 많은 옵션 줄임표 아이콘을 선택합니다.
일정을 선택합니다.
일정 페이지에서 새로 고침 빈도와 시작 시간 및 종료 시간을 설정할 수 있으며, 그 후에는 변경 내용을 적용할 수 있습니다.
지금 새로 고침을 시작하려면 새로 고침 단추를 선택합니다.
기록 및 설정 새로고침
데이터 흐름의 새로 고침 기록을 보려면 드롭다운 메뉴에서 최근 실행 탭을 선택하거나 모니터 허브로 이동하여 새로 고침 기록을 보려는 데이터 흐름을 선택할 수 있습니다.
CI/CD를 사용하여 Dataflow Gen2에 대한 설정
CI/CD 및 Git 지원을 사용하여 새 Dataflow Gen2의 설정에 액세스하는 것은 다른 패브릭 항목과 비슷합니다. 데이터 흐름 옆에 있는 더 많은 옵션 줄임표 아이콘을 선택하고 설정을 선택하여 설정에 액세스할 수 있습니다.
저장하면 게시 작업이 대체됩니다.
CI/CD 및 Git이 지원되는 Dataflow Gen2를 사용하면 저장 작업이 게시 작업을 대체합니다. 이 변경은 데이터 흐름을 저장할 때 변경 내용을 데이터 흐름에 자동으로 "게시"한다는 것을 의미합니다.
저장 작업은 작업 영역의 데이터 흐름을 직접 덮어씁니다. 변경 내용을 취소하려면 편집기를 닫을 때 변경 내용 취소 를 선택하여 취소할 수 있습니다.
유효성 검사
저장 작업 중에 데이터 흐름이 유효한 상태인지도 확인합니다. 데이터 흐름이 유효한 상태가 아닌 경우 작업 영역 보기의 드롭다운 메뉴에 오류 메시지가 표시됩니다. 데이터 흐름의 모든 쿼리에 대해 "행 0" 평가를 실행하여 데이터 흐름의 유효성을 확인합니다.
이 평가는 행을 반환하지 않고 쿼리 결과의 스키마만 요청하는 방식으로 데이터 흐름의 모든 쿼리를 실행한다는 것을 의미합니다. 쿼리 평가가 실패하거나 쿼리의 스키마를 10분 이내에 확인할 수 없는 경우 유효성 검사에 실패하고 이전에 저장된 데이터 흐름 버전을 새로 고침에 사용합니다.
적시 출판
CI/CD를 사용하는 데이터 흐름 Gen2에는 워크플로를 간소화하기 위한 자동화된 "Just-In-Time" 게시 모델이 도입되었습니다. 편집기에서 데이터 흐름을 저장하면 변경 내용이 즉시 저장되고 게시되므로 다음 새로 고침 또는 실행에 사용할 수 있습니다. 저장 및 실행을 사용하면 한 번의 단계로 데이터플로를 게시하고 새로 고칩니다.
Git의 변경 내용을 동기화하거나 배포 파이프라인을 사용하면 업데이트된 데이터 흐름이 작업 영역에 저장되지만 즉시 게시되지는 않습니다. 대신 다음에 새로 고침을 트리거할 때(수동 또는 일정에 따라) 시스템에서 새로 고침을 실행하기 전에 저장된 최신 버전을 자동으로 게시하려고 시도합니다. 예를 들어 유효성 검사 오류로 인해 게시가 실패하면 시스템에서 새로 고침 기록에 오류를 보고합니다.
이 방법을 사용하면 수동 게시 단계 없이도 Git 또는 배포 파이프라인의 최신 변경 내용을 항상 새로 고칠 때 고려됩니다. 그러나 브라우저를 닫거나 탐색하는 경우 편집기에서 변경한 내용이 자동으로 저장되지 않습니다. 다음 게시 또는 새로 고침에 변경 내용을 포함하려면 데이터 흐름을 명시적으로 저장해야 합니다.
일부 시나리오에서는 백 엔드가 새로 고침 작업 중에 데이터 흐름을 자동으로 게시하기로 결정합니다. 이 문제는 데이터 흐름 백 엔드가 업데이트되고 최신 백 엔드 변경 내용과의 호환성을 보장하기 위해 데이터 흐름을 다시 게시해야 하는 경우에 발생합니다. 이 자동 게시는 사용자 개입 없이 발생하며 백 엔드 업데이트에 따라 산발적으로 수행됩니다.
또한 API를 사용하여 게시하지 않고 데이터 흐름을 새로 고치거나 저장된 변경 내용에 대한 게시 작업을 수동으로 트리거하여 배포 워크플로를 유연하게 관리할 수 있습니다.
제한 사항 및 알려진 문제
CI/CD 및 Git 지원을 사용하는 Dataflow Gen2는 엔터프라이즈 준비 협업을 위한 강력한 기능 집합을 제공하지만, 이를 위해서는 패브릭 아키텍처에 대한 백 엔드를 다시 빌드해야 했습니다. 즉, 일부 기능은 아직 사용할 수 없거나 제한 사항이 있습니다. 환경을 개선하기 위해 적극적으로 노력하고 있으며 새로운 기능이 추가됨에 따라 이 문서를 업데이트할 예정입니다.
- CI/CD 및 Git 지원을 사용하여 마지막 Dataflow Gen2를 삭제하면 스테이징 아티팩트가 작업 영역에 표시되고 사용자가 안전하게 삭제할 수 있습니다.
- 작업 영역 보기에는 진행 중인 새로 고침 표시, 마지막 새로 고침, 다음 새로 고침 및 새로 고침 실패 표시가 표시되지 않습니다.
- 데이터 흐름이 새로 고침에 실패하면 자동으로 오류 알림 보내기를 지원하지 않습니다. 해결 방법으로 데이터 파이프라인의 오케스트레이션 기능을 활용할 수 있습니다.
- 다른 작업 영역으로 분기할 때 스테이징 레이크하우스를 찾을 수 없다는 메시지와 함께 Dataflow Gen2 새로 고침이 실패할 수 있습니다. 이와 같은 경우, 스테이징 레이크하우스 생성을 트리거하기 위해 작업 공간에서 CI/CD 및 Git 지원을 사용하여 새로운 Dataflow Gen2를 만듭니다. 그런 다음 작업 영역의 다른 모든 데이터 흐름이 다시 작동하기 시작해야 합니다.
- GIT의 변경 내용을 작업 영역으로 동기화하거나 배포 파이프라인을 사용하는 경우 새 데이터 흐름 또는 업데이트된 데이터 흐름을 열고 편집기를 사용하여 변경 내용을 수동으로 저장해야 합니다. 이렇게 하면 데이터 흐름을 새로 고치는 동안 변경 내용을 사용할 수 있도록 백그라운드에서 게시 작업이 트리거됩니다. 주문형 데이터 흐름 게시 작업 API 호출을 사용하여 게시 작업을 자동화할 수도 있습니다.
- 데이터 흐름용 Power Automate 커넥터는 CI/CD 및 Git 지원을 통해 새 Dataflow Gen2에서 작동하지 않습니다.