이 자습서는 1시간 이내에 전체 데이터 통합 시나리오에 대한 단계를 제공하여 Microsoft Fabric의 Data Factory 평가 프로세스를 가속화하는 데 도움이 됩니다. 이 자습서를 마치면 Data Factory의 값과 주요 기능을 이해하고 일반적인 엔드 투 엔드 데이터 통합 시나리오를 완료하는 방법을 알 수 있습니다.
이 시나리오는 소개 및 세 가지 모듈로 나뉩니다.
- 자습서 및 Microsoft Fabric에서 Data Factory를 사용해야 하는 이유를 소개합니다.
- 모듈 1: Data Factory를 사용하여 Blob Storage에서 데이터 레이크하우스의 브론즈 데이터 계층 테이블로 원시 데이터를 수집하는 파이프라인을 만듭니다.
- 모듈 2: Data Factory의 데이터 흐름을 사용하여 데이터를 변환 하여 브론즈 테이블에서 원시 데이터를 처리하고 Data Lakehouse의 골드 데이터 계층 테이블로 이동합니다.
- 모듈 3: 첫 번째 데이터 통합 과정을 완료 하고 모든 작업이 완료되면 알리는 전자 메일을 보내고 마지막으로 전체 흐름을 일정에 따라 실행하도록 설정합니다.
Microsoft Fabric에서 Data Factory를 사용하는 이유
Microsoft Fabric 은 엔터프라이즈의 모든 분석 요구 사항을 위한 단일 플랫폼을 제공합니다. 데이터 이동, 데이터 레이크, 데이터 엔지니어링, 데이터 통합, 데이터 과학, 실시간 분석 및 비즈니스 인텔리전스를 포함한 분석의 스펙트럼을 다룹니다. Fabric을 사용하면 여러 공급업체의 다양한 서비스를 통합할 필요가 없습니다. 대신 사용자는 쉽게 이해하고, 만들고, 온보딩하고, 운영할 수 있는 포괄적인 제품을 이용할 수 있습니다.
Fabric의 Data Factory 는 파워 쿼리 의 사용 편의성과 Azure Data Factory의 규모 및 기능을 결합합니다. 그것은 하나의 경험에 함께 두 제품의 최고를 제공합니다. 시민 및 전문 데이터 개발자가 올바른 데이터 통합 도구를 갖도록 하는 것이 목표입니다. Data Factory는 낮은 코드, AI 지원 데이터 준비 및 변환 환경, 페타바이트 규모 변환 및 하이브리드 및 다중 클라우드 연결을 사용하는 수백 개의 커넥터를 제공합니다.
Data Factory의 세 가지 주요 기능
- 데이터 수집: 파이프라인의 복사 작업(또는 독립 실행형 복사 작업)을 사용하면 추가 처리를 위해 수백 개의 데이터 원본에서 데이터 레이크하우스로 페타바이트 크기 조정 데이터를 이동할 수 있습니다.
- 데이터 변환 및 준비: Dataflow Gen2는 300개 이상의 데이터 변환을 사용하여 데이터를 변환하기 위한 로우 코드 인터페이스를 제공하며, 변환된 결과를 Azure SQL 데이터베이스, Lakehouse 등과 같은 여러 대상으로 로드할 수 있습니다.
- 엔드 투 엔드 자동화: 파이프라인은 복사, 데이터 흐름 및 Notebook 활동 등을 포함하는 활동의 오케스트레이션을 제공합니다. 파이프라인의 작업을 서로 연결하여 순차적으로 작동하거나 독립적으로 병렬 작동할 수 있습니다. 전체 데이터 통합 흐름은 자동으로 실행되며 한 곳에서 모니터링할 수 있습니다.
자습서 아키텍처
다음 50분 후에는 엔드 투 엔드 데이터 통합 시나리오를 완료할 때 Data Factory의 세 가지 주요 기능을 모두 알아봅니다.
시나리오는 다음 세 가지 모듈로 나뉩니다.
- 모듈 1: Data Factory를 사용하여 Blob Storage에서 데이터 레이크하우스의 브론즈 데이터 계층 테이블로 원시 데이터를 수집하는 파이프라인을 만듭니다.
- 모듈 2: Data Factory의 데이터 흐름을 사용하여 데이터를 변환 하여 브론즈 테이블에서 원시 데이터를 처리하고 Data Lakehouse의 골드 데이터 계층 테이블로 이동합니다.
- 모듈 3: 첫 번째 데이터 통합 과정을 완료 하고 모든 작업이 완료되면 알리는 전자 메일을 보내고 마지막으로 전체 흐름을 일정에 따라 실행하도록 설정합니다.
샘플 데이터 세트 NYC-Taxi 를 자습서의 데이터 원본으로 사용합니다. 완료되면 Microsoft Fabric의 Data Factory를 사용하여 특정 기간 동안 택시 요금의 일일 할인에 대한 인사이트를 얻을 수 있습니다.
다음 단계
다음 섹션으로 이동하여 파이프라인을 만듭니다.