Microsoft Fabric의 Data Factory 는 더 간단하고 강력한 접근 방식으로 가장 복잡한 데이터 통합 문제를 처리하도록 빌드된 차세대 Azure Data Factory입니다.
이 가이드는 이러한 두 서비스 간의 주요 차이점을 이해하는 데 도움이 되므로 엔터프라이즈에 적합한 선택을 할 수 있습니다. 새로운 점, 달라진 점, 그리고 패브릭이 제공하는 이점을 살펴보겠습니다.
Fabric Data Factory는 데이터 통합 워크플로를 단순화하고 향상하도록 설계된 차세대 Azure Data Factory입니다. 이 섹션에서는 Fabric Data Factory의 주요 기능과 이점에 대해 소개합니다.
마이그레이션 옵션을 탐색할 준비가 되셨나요? 마이그레이션 가이드를 확인하세요.
기능을 나란히 비교
Azure Data Factory와 Fabric Data Factory 간에 핵심 기능이 쌓이는 방법은 다음과 같습니다. 변경된 내용, 새로운 기능 및 동일하게 유지되는 항목에 대해 강조했습니다.
| Azure Data Factory | 패브릭에서의 데이터 팩토리 | 차이점 |
|---|---|---|
| 파이프라인 | 파이프라인 | 더 나은 통합: Fabric의 파이프라인은 바로 Lakehouse, Data Warehouse 및 기타 패브릭 서비스와 원활하게 작동합니다. 패브릭 파이프라인에는 더 많은 SaaS 기반 작업이 포함되며 JSON 정의가 다릅니다. 자세한 내용은 파이프라인 기능 비교 를 참조하세요. |
| 매핑 데이터 흐름 | 데이터 흐름 Gen2 | 더 쉽게 사용할 수 있습니다. 데이터 흐름 Gen2는 변환을 빌드하기 위한 더 간단한 환경을 제공합니다. 항상 Gen2에 매핑 데이터 흐름 기능을 더 추가하고 있습니다. |
| 활동 | 활동 | 더 많은 활동이 제공될 예정입니다. 즐겨 찾는 모든 ADF 활동을 Fabric으로 가져오기 위해 노력하고 있습니다. 또한 ADF에서 사용할 수 없는 Office 365 Outlook 활동과 같은 새 작업도 제공됩니다. 자세한 내용은 활동 비교 를 참조하세요. |
| 데이터 세트 | 연결만 | 더 간단한 방법: 더 이상 복잡한 데이터 세트 구성이 없습니다. Fabric의 Data Factory에서는 연결을 사용하여 데이터 원본과 연결하고 작업을 시작하세요. 패브릭은 데이터 세트를 제거하고 활동 내에서 인라인으로 데이터 속성을 정의합니다. |
| 연결된 서비스 | 연결 | 보다 직관적인 연결: 연결은 연결된 서비스처럼 작동하지만 설정 및 관리가 더 쉽습니다. |
| 트리거 | 일정 및 파일 기반 이벤트 트리거 | 기본 제공 일정: 패브릭의 스케줄러 및 Reflex 이벤트를 사용하여 파이프라인을 자동으로 실행합니다. 파일 이벤트 트리거는 추가 설정 없이 패브릭에서 기본적으로 작동합니다. 패브릭은 ADF의 독립 실행형 트리거와 달리 트리거를 Activator 프레임워크에 통합합니다. |
| 게시 | 저장 및 실행 | 게시 단계 없음: 패브릭에서 게시 단계를 완전히 건너뜁니다. 저장을 선택하여 작업을 저장하거나 실행을 선택하여 파이프라인을 즉시 저장하고 실행합니다. |
| Autoresolve 및 Azure Integration Runtime | 필요하지 않음 | 간소화된 아키텍처: 통합 런타임을 관리할 필요가 없습니다. 패브릭은 컴퓨팅을 자동으로 처리합니다. |
| 자체 호스팅 통합 런타임 | 온-프레미스 데이터 게이트웨이 | 동일한 온-프레미스 액세스: 익숙한 온-프레미스 데이터 게이트웨이를 사용하여 온-프레미스 데이터에 연결합니다. 온-프레미스 데이터 액세스 가이드에서 자세히 알아보세요. |
| Azure-SSIS Integration Runtime | 결정될 예정임 | 패브릭의 향후 기능: 우리는 여전히 Fabric에서 SSIS 통합을 위한 설계 작업을 진행하고 있습니다. |
| 관리형 가상 네트워크 및 프라이빗 엔드포인트 | 결정될 예정입니다. | 패브릭의 향후 기능: 패브릭의 관리형 가상 네트워크 및 프라이빗 엔드포인트에 대한 통합 작업을 진행 중입니다. |
| 식 언어 | 식 언어 | 동일한 식: 기존 식 지식이 직접 전송됩니다. 구문은 거의 동일합니다. |
| 인증 유형 | 인증 종류 | 추가 옵션: 널리 사용되는 모든 ADF 인증 방법은 Fabric에서 작동하며 새로운 인증 유형을 추가했습니다. |
| CI/CD | CI/CD | ADF를 넘어서는 향상된 기능에는 쉽게 선별적 선택, 개별 항목 프로모션, Git 리포지토리 활성화 및 기본 제공 SaaS CI/CD 옵션이 포함됩니다. |
| ARM 템플릿 내보내기/가져오기 | 다음으로 저장 | 빠른 중복: 패브릭에서 "다른 이름으로 저장"을 사용하여 개발 또는 테스트를 위해 파이프라인을 빠르게 복제합니다. |
| 모니터링 | 모니터링 허브 + 실행 기록 | 고급 모니터링: 모니터링 허브는 작업 영역 간 인사이트 및 더 나은 드릴다운 기능을 갖춘 최신 환경을 제공합니다. |
| 디버깅 | 대화형 모드 | 간소화된 디버깅: 패브릭은 ADF의 디버그 모드를 제거합니다. 항상 대화형 모드에 있습니다. |
| CDC(변경 데이터 캡처) | 복사 작업 | 증분 데이터 이동: 패브릭은 CDC 아티팩트 대신 복사 작업을 통해 증분 데이터 이동을 관리합니다. |
| Azure Synapse Link | Mirroring | 데이터 복제: 패브릭은 Azure Synapse Link를 데이터 복제를 위한 미러링 기능으로 대체합니다. |
| 파이프라인 작업 실행 | 파이프라인 작업 호출 | 플랫폼 간 호출: 패브릭은 플랫폼 간 호출을 사용하여 ADF의 파이프라인 실행 작업을 향상시킵니다. |
파이프라인 기능 비교
| 범주 | ADF 파이프라인 | 패브릭 파이프라인 |
|---|---|---|
| 서비스 유형 | 데이터 통합 PaaS 서비스 | 데이터 통합 SaaS 서비스 |
| 작성 환경 | Azure Portal(ADF Studio) | 패브릭/PBI 작업 영역(Lakehouses, Warehouse 등과 통합된 UX) |
| 파이프라인 오케스트레이션 | 활동, 트리거, 매개 변수가 있는 모든 기능을 갖춘 파이프라인 | 패브릭 UX에 대해 다시 상상된 동일한 오케스트레이션 모델 |
| 데이터 이동 | 복사 작업, 매핑 데이터 흐름, 온-프레미스 IR 지원, 관리되는 가상 네트워크 | 복사 작업, Dataflows Gen2, OneLake 및 Fabric 항목에 대한 기본 제공 연결, 온-프레미스 데이터 게이트웨이, 가상 네트워크 게이트웨이 |
| 컴퓨팅/IR | 자체 호스팅, SSIS 및 Azure IR(이동 + 변환용) | 클라우드 연결, 온-프레미스 및 가상 네트워크 게이트웨이 |
| 데이터 흐름 | Azure Blob, Data Lake Storage, SQL, 100개 이상의 커넥터 | 동일한 커넥터 + 네이티브 OneLake 통합, 더 엄격한 패브릭 작업 영역 맞춤 |
| 모니터링 | 실행, 트리거, 경고가 있는 ADF Studio의 파이프라인 및 데이터 흐름 | 파이프라인, 데이터 흐름, Notebook, 데이터베이스 등을 아우르는 허브 및 작업 공간에서 통합된 보기로 모니터링을 수행합니다. |
| 트리거 | 일정, 연속 창, 이벤트 기반 트리거 | 일정, 이벤트 트리거, 텀블링 윈도우 트리거를 간격 일정으로 사용 |
| CI/CD | ARM 템플릿 + Azure DevOps 또는 GitHub 리포지토리 통합 | 패브릭의 기본 제공 배포 파이프라인; 작업 영역 수준 승격(Dev → Test → Production) 및 외부 리포지토리 통합 |
| Security | 관리 ID, Key Vault 통합, 프라이빗 엔드포인트 | 동일한 보안 모델과 Fabric 작업공간 RBAC; OneLake 보안 통합 |
| Pricing | Azure 사용량 기반 종량제(활동 실행별, 데이터 이동 및 컴퓨팅에 따라) | 외부 또는 파이프라인 활동에 대한 요금 없이 작업 실행 및 파이프라인 데이터 이동만 포함된 용량 기반(Fabric F SKU) |
활동 비교
Microsoft Fabric의 Data Factory를 사용하면 Azure Data Factory를 사용하여 높은 수준의 연속성을 계속 유지합니다. 약 90% ADF에서 액세스할 수 있는 활동은 이미 Fabric의 Data Factory에서 사용할 수 있습니다. 다음은 Fabric의 ADF 및 Data Factory 모두에서 활동 및 해당 가용성에 대한 분석입니다.
| Activity | ADF | 패브릭에서의 데이터 팩토리 |
|---|---|---|
| ADX/KQL | 예 | 예 |
| 변수 추가 | 예 | 예 |
| Azure Batch | 예 | 예 |
| Azure Databricks | Notebook 활동 • Jar 활동 • Python 활동 • 작업 활동 | Azure Databricks 작업 |
| Azure Machine Learning (애저 머신 러닝) | 예 | 예 |
| Azure 머신 러닝 일괄 처리 실행 | Deprecated | N/A |
| Azure Machine Learning 업데이트 리소스 | Deprecated | N/A |
| 복사 | 데이터 복사 | 복사 작업 |
| 데이터 흐름 Gen2 | N/A | 예 |
| Delete | 예 | 예 |
| 파이프라인 실행/호출 | 파이프라인 실행 | 파이프라인 호출 |
| 패브릭 Notebook | N/A | 예 |
| 실패 | 예 | 예 |
| Filter | 예 | 예 |
| 각 요소에 대해 | 예 | 예 |
| Functions | Azure 함수 | 함수 작업 |
| 메타데이터 가져오기 | 예 | 예 |
| HDInsight | Hive 활동 • Pig 활동 • MapReduce 활동 • Spark 활동 • 스트리밍 활동 | HDInsight 작업 |
| If 조건 | 예 | 예 |
| Lookup | 예 | 예 |
| 매핑 데이터 흐름 | 예 | 데이터 흐름 Gen2 |
| Office 365 Outlook | N/A | 예 |
| 파워 쿼리(ADF에만 해당 - 데이터 흐름 제어) | Deprecated | N/A |
| 스크립트 | 예 | 예 |
| 의미 체계 모델 새로 고침 | N/A | 예 |
| 변수 설정 | 예 | 예 |
| Sproc | 예 | 예 |
| SSIS(SQL Server 통합 서비스) | 예 | N/A |
| 저장 프로시저 | 예 | 예 |
| 스위치 | 예 | 예 |
| Synapse Notebook 및 SJD 작업 | 예 | N/A |
| 팀들 | N/A | 예 |
| Until | 예 | 예 |
| Validation | 예 | 메타데이터 가져오기 및 If 조건 |
| Wait | 예 | 예 |
| 웹 | 예 | 예 |
| Webhook | 예 | 예 |
| 데이터 흐름 조작 | 예 | 데이터 흐름 Gen2 |
Fabric Data Factory의 새 활동
활동 연속성을 유지하는 것 외에도 Fabric의 Data Factory는 보다 풍부한 오케스트레이션 요구 사항을 충족하기 위해 몇 가지 새로운 활동을 도입합니다. 이러한 새로운 활동은 다음과 같습니다.
- Outlook: Outlook 서비스와의 통합을 용이하게 하기 위해 Fabric Data Factory에서 사용할 수 있습니다.
- Teams: Fabric Data Factory에서 Microsoft Teams 활동을 오케스트레이션할 수 있습니다.
- 의미 체계 모델 새로 고침: Power BI 의미 체계 모델 새로 고침 기능을 향상시키기 위해 Fabric Data Factory에서 사용할 수 있습니다.
- 데이터 흐름 Gen2: 패브릭 Data Factory에서 고급 데이터 흐름 기능을 사용하여 데이터 오케스트레이션을 강화할 수 있습니다.
사용 가능한 모든 Fabric Data Factory 활동 목록은 작업 개요를 참조하세요.
커넥터 비교
Azure Data Factory 및 Fabric Data Factory에서 모든 커넥터와 해당 커넥터의 가용성을 비교하려면 커넥터 비교 문서를 참조하세요.
SHIR(자체 호스팅 Integration Runtime) 및 OPDG(온-프레미스 데이터 게이트웨이)
비고
SHIR 및 ODPG에서 지원하는 서비스는 다음과 같습니다.
- SHIR(자체 호스팅 Integration Runtime): Azure Data Factory, Azure Synapse Analytics, Azure Machine Learning 스튜디오 및 Azure Purview를 지원합니다.
- OPDG(온-프레미스 데이터 게이트웨이): Power BI, Power Apps, Power Automate, Azure Analysis Services, Logic Apps, Fabric Dataflow Gen2, 패브릭 파이프라인, 패브릭 복사 작업 및 패브릭 미러링을 지원합니다.
| 범주 | 자체 호스팅 통합 런타임(SHIR) | OPDG(온-프레미스 데이터 게이트웨이) |
|---|---|---|
| 지원되는 서비스 | - Azure Data Factory - Azure Machine Learning 스튜디오 - Azure Synapse 분석 - Azure Purview |
- Power BI - Power Apps - Power Automate - Azure Analysis Services - Logic Apps - 패브릭 데이터플로우 Gen2 - 패브릭 파이프라인 - 패브릭 복사 작업 - 패브릭 미러링 |
| 설치 및 등록 | - 키에 의해 등록됨 - 서비스 모드에서 실행 |
- Microsoft Entra ID 계정에 등록됨 - 사용자 모드 지원 |
| 플랫폼 | - Windows - 지원되는 컨테이너 이미지 |
- Windows 전용 - 컨테이너 지원 없음 |
| 프록시 지원 | - 시스템 및 사용자 지정 프록시 모두 지원 | - 사용자 지정 프록시 지원 |
| 지역 바인딩 | - Data Factory 지역에 수정됨 - 기본 지역을 변경할 수 없습니다. |
- 지역을 변경할 수 있습니다. |
| 사용자 지정 릴레이 | - 지원되지 않음 | -지원; 고객은 자신의 릴레이를 가져올 수 있습니다. |
| 서비스 간 공유 | - 최대 120개 데이터 팩터리 공유 - ADF, Synapse, Purview 또는 Synapse 작업 영역에서 공유할 수 없습니다. |
- 테넌트 내에서 지원되는 모든 서비스에서 사용 가능 |
| HA(고가용성) | - 최대 8개의 노드(기본값 4개) | - 최대 10개의 노드 |
| Recovery | - 다시 설치 필요 | - 지원되는 복구 키 |
| 로드 밸런싱 | - 사용 가능한 작업자 수에 따라 작업 수준 부하 분산(CPU + 메모리) | - 쿼리 수준 부하 분산 - 라운드 로빈 또는 임의 배포 옵션 |
| 자격 증명 저장소 | - SHIR 노드에 로컬로 저장 - 지원되는 Azure Key Vault |
- 게이트웨이 클라우드 서비스에 중앙에 저장 - Key Vault 통합 없음 |
| 자동 업데이트 | -지원 | - 지원되지 않음 |
| 커넥터 확장성 | - 지원되지 않음 | -지원 |
| 대화형 작성 | -지원 | -지원 |
| 제어 흐름에 대한 Private Link | -지원 | - 지원되지 않음 |
| 버전 관리 | - 매월 두 개의 릴리스; 자동 업데이트로 푸시된 하나 - 지난 12개월의 버전 릴리스를 지원합니다. |
- 매월 릴리스 1개 - 최근 6개 릴리스 지원 |
| CPU 및 메모리 제한 | - 지원되지 않음 | -지원 |
| 처리량 제한 | - 하드 제한이 없습니다. 네트워크 대역폭에 종속됨 | 서비스별 제한: Power Apps/ Power Automate/Logic Apps: - 쓰기: 2MB 페이로드 제한 - 읽기: 2MB 요청 제한, 8MB 압축 응답 제한 - GET 요청 URL 제한: 2,048자 Power BI 직접 쿼리: 16MB의 압축되지 않은 응답 제한 |
ADF 관리형 Virtual Network 및 패브릭 Virtual Network 데이터 게이트웨이
ADF(Azure Data Factory) 관리형 Virtual Network 및 Microsoft Fabric Virtual Network(가상 네트워크) 데이터 게이트웨이는 모두 공용 인터넷에 노출하지 않고도 데이터 원본에 안전하게 연결할 수 있도록 도와줍니다. 두 옵션 모두 클라우드 워크로드에 대한 프라이빗 연결을 지원하지만 설정 방법, 관리하는 사람 및 지원하는 서비스에 따라 다릅니다.
ADF 관리 가상 네트워크
Microsoft는 네트워크 환경을 소유하고 관리합니다. 간단한 설정을 얻을 수 있지만 네트워크 설정 또는 방화벽 규칙을 제어할 수 없습니다.패브릭 VNET 데이터 게이트웨이
자체 Azure 가상 네트워크 내에 게이트웨이를 배포합니다. 이를 통해 네트워킹, 방화벽 및 크기 조정을 완전히 제어할 수 있습니다. 게이트웨이가 리소스에 연결하는 방법을 결정하고 모든 네트워크 설정을 관리합니다.
아래 표를 사용하여 주요 차이점을 비교하고 워크로드 및 거버넌스 요구 사항에 맞는 옵션을 선택합니다.
| 범주 | ADF 관리형 가상 네트워크 | 패브릭 가상 네트워크 데이터 게이트웨이 |
|---|---|---|
| 지원되는 서비스 | Azure Data Factory 및 Synapse 파이프라인. | Microsoft Fabric Dataflow Gen2, 패브릭 데이터 파이프라인, 패브릭 복사 작업, 패브릭 미러링, Power BI 의미 체계 모델 및 Power BI 페이징 보고서 |
| VNET 소유권 | Microsoft에서 관리하는 가상 네트워크(고객이 네트워크를 제어하지 않음). | 고객 관리형 가상 네트워크(고객은 모든 권한을 가집니다). |
| 프라이빗 엔드포인트 | 지원되는 서비스(Azure Storage, SQL DB 등)에 대해 ADF에서 자동 생성 및 관리합니다. | 고객은 패브릭 워크로드를 가상 네트워크 내의 리소스에 연결하도록 가상 네트워크 게이트웨이를 구성합니다. |
| 네트워킹 제어 | 제한적임 - 고객은 가상 네트워크 통합 런타임을 프라이빗 엔드포인트에만 허용 목록에 등록할 수 있습니다. | 모든 권한 - 고객은 자체 가상 네트워크에서 방화벽, NSG 규칙, 라우팅을 구성합니다. |
| 설치/배포 | 설치가 필요하지 않습니다. 숨겨진 가상 네트워크 내에서 Microsoft에서 완전히 관리합니다. | 가상 네트워크 데이터 게이트웨이를 고객의 가상 네트워크에 배포해야 합니다. |
| 고가용성 | ADF의 가상 네트워크 내에서 Microsoft가 관리하고 자동으로 규모를 조정함. TTL을 사용하도록 설정할 때 예약 모드로 전환합니다. | 크기 조정 및 HA(노드 기반 클러스터)를 지원하지만 고객 관리형 가상 네트워크 내에서 실행됩니다. 최대 7개의 노드를 지원합니다. |
Fabric Data Factory의 주요 기능
Fabric Data Factory에서 파이프라인, 데이터 흐름 및 기타 Data Factory 항목을 빌드하는 것은 Microsoft의 판도를 바꾸는 AI 기능 공동 파일럿과의 네이티브 통합으로 인해 매우 쉽고 빠릅니다. Data Factory용 코필로트를 사용하면 자연어를 사용하여 데이터 통합 프로젝트를 쉽게 정의할 수 있습니다.
네이티브 레이크하우스 및 데이터 웨어하우스 통합
Fabric Data Factory의 가장 큰 장점 중 하나는 데이터 플랫폼과 연결하는 방법입니다. Lakehouse 및 Data Warehouse는 파이프라인에서 원본 및 대상으로 작동하므로 통합 데이터 프로젝트를 쉽게 빌드할 수 있습니다.
Office 365를 사용하는 스마트 전자 메일 알림
팀에게 최신 정보를 제공해야 합니까? Office 365 Outlook 활동을 사용하면 간단한 구성으로 파이프라인 실행, 활동 상태 및 결과에 대한 사용자 지정된 전자 메일 알림을 보낼 수 있습니다. 더 이상 대시보드를 지속적으로 확인하거나 사용자 지정 알림 코드를 작성하지 않습니다.
간소화된 데이터 연결 환경
패브릭의 최신 데이터 가져오기 환경을 사용하면 복사 파이프라인을 빠르게 설정하고 새 연결을 만들 수 있습니다. 구성 시간을 줄이고 데이터를 필요한 위치에 가져오는 데 더 많은 시간을 할애할 수 있습니다.
CI/CD 환경의 사용 편의성 향상
Fabric에서 CI/CD 환경은 Azure Data Factory 또는 Synapse보다 훨씬 쉽고 유연합니다. 패브릭의 CI/CD와 ARM 템플릿 간에는 연결이 없으므로 체크 인, 체크 아웃, 유효성 검사 및 공동 작업을 위해 패브릭 작업 영역의 개별 부분을 매우 쉽게 선택할 수 있습니다. ADF 및 Synapse에서 CI/CD에 대한 유일한 옵션은 사용자 고유의 Git 리포지토리를 사용하는 것입니다. 그러나 Fabric에서는 필요에 따라 사용자 고유의 외부 Git 리포지토리를 가져올 필요가 없는 기본 제공 배포 파이프라인 기능을 사용할 수 있습니다.
다음 수준 모니터링 및 인사이트
Fabric Data Factory의 모니터링 환경은 실제로 차이점을 확인할 수 있는 곳입니다. 모니터링 허브는 모든 워크로드에 대한 전체 보기를 제공하며, 자세한 인사이트를 위해 모든 작업으로 드릴다운할 수 있습니다. 작업 영역 간 분석은 기본 제공되므로 전체 조직에서 큰 그림을 볼 수 있습니다.
복사 작업의 문제를 해결하는 경우 자세한 분석 보기를 좋아할 것입니다. 실행 세부 정보 단추(안경 아이콘)를 선택하여 정확히 무슨 일이 일어났는지 확인합니다. 기간 분석에서는 각 단계가 소요된 기간을 보여 줍니다. 따라서 성능 최적화가 더 쉬워질 수 있습니다.
빠른 파이프라인 복제
비슷한 파이프라인을 만들어야 합니까? 다른 이름으로 저장 기능을 사용하면 기존 파이프라인을 몇 초 안에 복제할 수 있습니다. 개발 버전을 만들거나, 변형을 테스트하거나, 유사한 워크플로를 설정하는 데 적합합니다.
관련 콘텐츠
자세한 내용은 다음 리소스를 참조하세요.