Dataflow Gen2란?

데이터 흐름은 코드를 작성하지 않고 데이터를 준비하고 변환하는 데 도움이 되는 클라우드 기반 도구입니다. 수백 개의 데이터 원본에서 데이터를 수집하고, 300개 이상의 데이터 변환을 사용하여 데이터를 변환하고, 결과 데이터를 여러 대상으로 로드하기 위한 하위 코드 인터페이스를 제공합니다. 수백 개의 다른 데이터 원본에 연결하고, 지저분한 데이터를 정리하고, 필요한 곳에 정확하게 전달할 수 있는 개인 데이터 도우미라고 생각하세요. 시민이든 전문 개발자든 간에 데이터 흐름은 최신 데이터 통합 환경을 통해 데이터베이스, 데이터 웨어하우스, Lakehouse, 실시간 데이터 등을 비롯한 다양한 데이터 원본 집합에서 데이터를 수집, 준비 및 변환할 수 있습니다.

데이터 흐름 Gen2는 원래 Power BI 데이터 흐름(현재 Gen1이라고 함)과 함께 작동하는 더 강력한 최신 버전입니다. Excel, Power BI, Power Platform 및 Dynamics 365와 같은 여러 Microsoft 제품 및 서비스에서 사용할 수 있는 친숙한 파워 쿼리 환경을 사용하여 빌드된 Dataflow Gen2는 향상된 기능, 향상된 성능 및 빠른 복사 기능을 제공하여 데이터를 빠르게 수집하고 변환합니다. 새로 시작하는 경우 향상된 기능과 향상된 성능을 위해 Dataflow Gen2를 사용하는 것이 좋습니다.

데이터 흐름으로 무엇을 할 수 있나요?

데이터 흐름을 사용하면 다음을 수행할 수 있습니다.

• 데이터에 연결: 데이터베이스, 파일, 웹 서비스 등에서 정보를 가져옵니다.
• 데이터 변환: 시각적 인터페이스를 사용하여 데이터 정리, 필터링, 결합 및 재구성
• 어디서나 데이터 로드: 변환된 데이터를 데이터베이스, 데이터 웨어하우스 또는 클라우드 스토리지로 보냅니다.
• 프로세스 자동화: 데이터가 최신 상태로 유지되도록 일정을 설정하고 up-to.

데이터 흐름 기능

Dataflow Gen2와 Gen1 간에 사용할 수 있는 기능은 다음과 같습니다.

Dataflow Gen2로 업그레이드

다음 섹션에서는 데이터 준비 작업을 더 쉽고 효율적으로 만들기 위해 Gen1에 비해 Dataflow Gen2의 주요 개선 사항 중 일부가 있습니다.

Gen2는 더 쉽게 만들고 사용할 수 있습니다.

이전에 파워 쿼리를 사용한 적이 있다면 데이터 흐름 Gen2가 익숙합니다. 더 빠르게 시작하고 실행할 수 있도록 프로세스를 간소화했습니다. 데이터를 데이터 흐름으로 가져오는 경우 단계별로 안내되며 데이터 흐름을 만드는 데 필요한 단계 수를 줄입니다.

자동 저장은 작업을 안전하게 유지합니다.

데이터 흐름 Gen2는 작업할 때 변경 내용을 자동으로 저장합니다. 진행 상황을 걱정하지 않고 컴퓨터에서 물러나거나 브라우저를 닫거나 인터넷 연결을 끊을 수 있습니다. 당신이 돌아올 때, 모든 것이 당신이 그것을 떠난 바로 그 곳에 있습니다.

데이터 흐름 빌드가 완료되면 변경 내용을 게시할 수 있습니다. 게시하면 작업이 저장되고 백그라운드 유효성 검사가 실행되므로 다음 작업으로 이동하기 전에 모든 항목을 체크 아웃할 때까지 기다릴 필요가 없습니다.

저장이 작동하는 방식에 대해 자세히 알아보려면 데이터 흐름 초안 저장을 확인하세요.

필요한 위치로 데이터 보내기

Dataflow Gen1은 변환된 데이터를 자체 내부 스토리지(데이터 흐름 커넥터를 통해 액세스할 수 있음)에 저장하지만 Dataflow Gen2는 해당 스토리지를 사용하거나 데이터를 다른 대상으로 보낼 수 있는 유연성을 제공합니다.

이러한 유연성은 새로운 가능성을 열어줍니다. 예를 들어, 다음을 할 수 있습니다:

• 데이터 흐름을 사용하여 레이크하우스에 데이터를 로드한 후, 노트북 애플리케이션으로 분석하십시오.
• Azure SQL 데이터베이스에 데이터를 로드한 다음 파이프라인을 사용하여 데이터 웨어하우스로 이동

데이터 흐름 Gen2는 현재 다음 대상을 지원합니다.

• Azure SQL 데이터베이스
• Azure Data Explorer(Kusto)
• Azure Datalake Gen2(미리 보기)
• 패브릭 레이크하우스 테이블
• 패브릭 레이크하우스 파일(미리 보기)
• 직물 창고
• Fabric KQL 데이터베이스
• 패브릭 SQL 데이터베이스
• SharePoint 파일

사용 가능한 데이터 대상에 대한 자세한 내용은 Dataflow Gen2 데이터 대상 및 관리되는 설정을 참조하세요.

더 나은 모니터링 및 새로 고침 추적

데이터 흐름 Gen2를 사용하면 데이터 새로 고침 시 발생하는 작업을 보다 명확하게 파악할 수 있습니다. 모니터링 허브와 통합하고 새로 고침 기록 환경을 개선하여 데이터 흐름의 상태 및 성능을 추적할 수 있습니다.

파이프라인과 원활하게 작동

파이프라인을 사용하면 작업을 그룹화하여 더 큰 작업을 완료할 수 있습니다. 데이터를 복사하거나, SQL 쿼리를 실행하거나, 저장 프로시저를 실행하거나, Python Notebook을 실행할 수 있는 워크플로로 간주합니다.

파이프라인에서 여러 활동을 연결하고 일정에 따라 실행되도록 설정할 수 있습니다. 예를 들어 매주 월요일마다 파이프라인을 사용하여 Azure Blob에서 데이터를 끌어와 정리한 다음 Dataflow Gen2를 트리거하여 로그 데이터를 분석할 수 있습니다. 또는 월말에 Azure Blob에서 Azure SQL 데이터베이스로 데이터를 복사한 다음 해당 데이터베이스에서 저장 프로시저를 실행할 수 있습니다.

파이프라인과 데이터 흐름을 연결하는 방법에 대한 자세한 내용은 데이터 흐름 활동을 참조하세요.

고성능 컴퓨팅:

Dataflow Gen2는 고급 컴퓨팅 패브릭 SQL 컴퓨팅 엔진을 사용하여 대량의 데이터를 효율적으로 처리합니다. 이 작업을 위해 Dataflow Gen2는 작업 영역에 Lakehouse 및 Warehouse 항목을 모두 만들고 이를 사용하여 데이터를 저장하고 액세스하여 모든 데이터 흐름에 대한 성능을 향상합니다.

Dataflow Gen2를 위한 코파일럿

Dataflow Gen2는 패브릭의 Microsoft Copilot와 통합되어 자연어 프롬프트를 사용하여 데이터 통합 솔루션을 만들기 위한 AI 기반 지원을 제공합니다. 코필로트는 대화형 언어를 사용하여 데이터 변환 및 작업을 수행할 수 있도록 하여 데이터 흐름 개발 프로세스를 간소화하는 데 도움이 됩니다.

• 원본에서 데이터 가져오기: "데이터 가져오기" 시작 프롬프트를 사용하여 OData, 데이터베이스 및 파일과 같은 다양한 데이터 원본에 연결합니다.
• 자연어를 사용하여 데이터 변환: 다음과 같은 대화형 프롬프트를 사용하여 변환을 적용합니다.
  • "유럽 고객만 유지"
  • "도시별 총 직원 수 계산"
  • "수량이 중앙값보다 높은 주문만 유지"
• 샘플 데이터 만들기: Azure OpenAI를 사용하여 테스트 및 개발을 위한 샘플 데이터 생성
• 실행 취소 작업: 마지막으로 적용된 단계를 제거하려면 "실행 취소"를 입력하거나 선택합니다.
• 유효성 검사 및 검토: 각 Copilot 작업은 적용된 단계 목록에 해당 단계가 있는 응답 카드로 나타납니다.

자세한 내용은 Dataflow Gen2에 대한 Copilot를 참조하세요.

데이터 흐름을 사용하려면 무엇이 필요한가요?

데이터플로우 Gen2에는 Fabric 용량 또는 Fabric 평가판 용량이 필요합니다. 데이터 흐름에 대한 라이선스 작동 방식을 이해하려면 Microsoft Fabric 개념 및 라이선스를 확인하세요.

Dataflow Gen1에서 Gen2로 이동

Gen1을 사용하여 빌드된 데이터 흐름이 이미 있는 경우 걱정하지 마세요. 이를 Gen2로 쉽게 마이그레이션할 수 있습니다. 전환을 도울 수 있는 여러 가지 옵션이 있습니다.

• 쿼리 내보내기 및 가져오기
• 파워 쿼리에 복사 및 붙여넣기
• 다른 이름으로 저장 기능 사용

쿼리 내보내기 및 가져오기

Dataflow Gen1 쿼리를 내보내고 PQT 파일에 저장한 다음 Dataflow Gen2로 가져올 수 있습니다. 단계별 지침은 내보내기 템플릿 기능 사용을 참조하세요.

파워 쿼리에 복사 및 붙여넣기

Power BI 또는 Power Apps에 데이터 흐름이 있는 경우 쿼리를 복사하여 Dataflow Gen2 편집기에서 붙여넣을 수 있습니다. 이 방법을 사용하면 쿼리를 처음부터 다시 빌드하지 않고도 마이그레이션할 수 있습니다. 자세한 정보: 기존 Dataflow Gen1 쿼리를 복사하여 붙여넣습니다.

다른 이름으로 저장 기능 사용

이미 데이터 흐름 유형(Gen1, Gen2 또는 Gen2 CI/CD)을 보유하고 계신 경우, 이제 Data Factory에 '다른 이름으로 저장' 기능이 포함됩니다. 이렇게 하면 하나의 작업만으로 기존 데이터 흐름을 새 CI/CD(Dataflow Gen2) 항목으로 저장할 수 있습니다. 자세한 정보: "다른 이름으로 저장" 기능을 사용하여 Dataflow Gen2(CI/CD)로 마이그레이션.

관련 콘텐츠

자세히 알아볼 준비가 되셨나요? 다음 유용한 리소스를 확인하세요.

• 데이터 흐름 모니터링 - 새로 고침 기록 및 성능 추적
• 작업할 때 초안 저장 - 자동 저장 기능에 대해 알아보기
• Gen1에서 Gen2로 마이그레이션 - 단계별 마이그레이션 가이드