활동은 Microsoft Fabric에서 엔드 투 엔드 데이터 워크플로를 만드는 데 도움이 되는 구성 요소입니다. 비즈니스 요구 사항에 맞게 데이터를 이동하고 변환하는 작업으로 간주합니다. 복사 작업을 사용하여 SQL Server에서 Azure Blob Storage로 데이터를 이동할 수 있습니다. 그런 다음 보고용 Azure Synapse Analytics에 로드하기 전에 데이터 흐름 작업 또는 Notebook 활동을 추가하여 해당 데이터를 처리하고 변환할 수 있습니다.
활동은 파이프라인에서 함께 그룹화되어 특정 목표를 달성합니다. 예를 들어 다음과 같은 파이프라인을 만들 수 있습니다.
- 다른 원본에서 로그 데이터 끌어오기
- 해당 데이터를 정리하고 구성합니다.
- 분석을 실행하여 인사이트 찾기
활동을 파이프라인으로 그룹화하면 각 작업을 개별적으로 처리하는 대신 이러한 모든 단계를 하나의 단위로 관리할 수 있습니다. 전체 파이프라인을 한 번에 배포하고 예약하여 필요할 때마다 실행할 수 있습니다.
Microsoft Fabric은 다음 세 가지 유형의 활동을 제공합니다.
데이터 이동 활동
이러한 활동은 파이프라인의 한 위치에서 다른 위치로 데이터를 이동하는 데 도움이 됩니다.
| 이동 활동 | Description |
|---|---|
| 데이터 복사 | 지원되는 모든 원본에서 지원되는 대상으로 데이터를 복사할 수 있습니다. 사용할 수 있는 항목은 커넥터 개요 를 참조하세요. |
| 복사 작업 | 복사 작업은 데이터를 빠르게 이동하기 위한 간소화된 방법입니다. |
다른 데이터 이동 옵션 중에서 선택해야 하는 경우 데이터 이동 의사 결정 가이드 문서를 참조하세요.
데이터 변환 활동
이러한 활동은 데이터를 처리하고 변환하는 데 도움이 됩니다. 개별적으로 사용하거나 다른 활동과 함께 연결할 수 있습니다.
자세한 내용은 데이터 변환 작업 문서를 참조하세요.
| 데이터 변환 작업 | 컴퓨팅 환경 |
|---|---|
| 데이터 복사 | Microsoft Fabric의 컴퓨팅 관리자 |
| 데이터 흐름 Gen2 | Microsoft Fabric의 컴퓨팅 관리자 |
| 데이터 삭제 | Microsoft Fabric의 컴퓨팅 관리자 |
| 패브릭 노트북 | Microsoft Fabric에서 관리하는 Apache Spark 클러스터 |
| HDInsight 작업 | Microsoft Fabric에서 관리하는 Apache Spark 클러스터 |
| Spark 작업 정의 | Microsoft Fabric에서 관리하는 Apache Spark 클러스터 |
| 저장 프로시저 | Azure SQL, Azure Synapse Analytics 또는 SQL Server |
| SQL 스크립트 | Azure SQL, Azure Synapse Analytics 또는 SQL Server |
제어 흐름 작업
이러한 활동은 파이프라인 실행 방법을 제어하는 데 도움이 됩니다.
| 제어 활동 | Description |
|---|---|
| 변수 추가 | 기존 배열 변수에 값을 추가합니다. |
| Azure Batch 작업 | Azure Batch 스크립트를 실행합니다. |
| Azure Databricks 작업 | Azure Databricks 작업(Notebook, Jar, Python)을 실행합니다. |
| Azure Machine Learning 작업 | Azure Machine Learning 작업을 실행합니다. |
| 활동 비활성화 | 다른 작업을 비활성화합니다. |
| Fail | 사용자 지정된 오류 메시지 및 오류 코드로 인해 파이프라인 실행이 실패합니다. |
| Filter | 입력 배열에 필터 식을 적용합니다. |
| ForEach | ForEach 작업은 파이프라인의 반복 제어 흐름을 정의합니다. 이 작업을 사용하여 컬렉션을 반복하고 루프의 지정된 작업을 실행합니다. 이 활동의 루프 구현은 프로그래밍 언어의 Foreach 반복 구조와 비슷합니다. |
| 함수 작업 | Azure Function을 실행합니다. |
| 메타데이터 가져오기 | GetMetadata 작업은 데이터 팩터리 또는 Synapse 파이프라인에서 모든 데이터의 메타데이터를 검색하는 데 사용할 수 있습니다. |
| If 조건 | If 조건을 사용하여 True 또는 False로 평가되는 조건을 기반으로 분기할 수 있습니다. If 조건 작업은 if 문에서 프로그래밍 언어로 제공하는 것과 동일한 기능을 제공합니다. 조건이 true로 평가되면 작업 집합을 평가하고, 조건이 false로 평가되면 다른 작업 집합을 평가합니다. |
| 파이프라인 호출 | Execute Pipeline 작업을 사용하면 하나의 데이터 팩터리 또는 Synapse 파이프라인에서 다른 파이프라인을 호출할 수 있습니다. |
| KQL 작업 | Kusto 인스턴스에 대해 KQL 스크립트를 실행합니다. |
| 조회 작업 | 조회 작업을 사용하면 모든 외부 소스에서 레코드/테이블 이름/값을 읽거나 조회할 수 있습니다. 이 출력을 다음 작업에서 추가로 참조할 수 있습니다. |
| 변수 설정 | 기존 변수의 값을 설정합니다. |
| 활동 전환 | 식의 각 잠재적 결과에 대해 여러 후속 작업을 가능하게 하는 Switch 식을 구현합니다. |
| 팀 활동 | Teams 채널 또는 그룹 채팅에 메시지를 게시합니다. |
| 활동까지 | 프로그래밍 언어의 Do-Until 루핑 구조와 유사한 Do-Until 루프를 구현합니다. 작업과 관련된 조건이 참으로 평가될 때까지 일단의 반복 작업을 실행합니다. until 작업의 시간 제한 값을 지정할 수 있습니다. |
| 대기 활동 | 파이프라인에서 대기 작업을 사용하는 경우 파이프라인은 후속 작업을 계속 실행하기 전에 지정된 시간 동안 대기합니다. |
| 웹 활동 | 웹 작업은 파이프라인에서 사용자 지정 REST 엔드포인트를 호출하는 데 사용할 수 있습니다. |
| 웹후크 활동 | 웹후크 작업을 사용하여 엔드포인트를 호출하고 콜백 URL을 전달합니다. 파이프라인 실행은 다음 작업을 진행하기 전에 콜백이 호출될 때까지 기다립니다. |
Microsoft Fabric UI를 사용하여 파이프라인에 작업 추가
파이프라인에서 작업을 추가하고 구성하는 방법은 다음과 같습니다.
- 작업 영역에서 새 파이프라인을 만듭니다.
- 활동 탭으로 이동하여 사용 가능한 활동을 탐색합니다. 오른쪽으로 스크롤하여 모든 옵션을 표시한 다음, 파이프라인 편집기에서 작업을 선택하여 추가합니다.
- 활동을 추가하고 캔버스에서 선택하면 아래 속성 창에 일반 설정이 표시됩니다.
- 각 활동에는 속성 창의 다른 탭에 다른 구성 옵션이 있습니다.
일반 설정
파이프라인에 새 활동을 추가하고 선택하면 화면 아래쪽에 해당 속성이 표시됩니다. 여기에는 일반, 설정 및 경우에 따라 다른 탭이 포함됩니다.
모든 활동에는 일반 설정의 이름 및 설명 필드가 포함됩니다. 일부 활동에는 다음과 같은 옵션도 있습니다.
| Setting | Description |
|---|---|
| Timeout | 시간이 초과되기 전에 활동을 실행할 수 있는 기간입니다. 기본값은 12시간이며 최대값은 7일입니다. D.HH:MM:SS 형식을 사용합니다. |
| Retry | 작업이 실패하는 경우 다시 시도할 횟수입니다. |
| (고급 속성) 재시도 간격(초) | 재시도 사이에 대기할 시간(초)입니다. |
| (고급 속성) 보안 출력 | 이 옵션을 선택하면 활동 출력이 로그에 표시되지 않습니다. |
| (고급 속성) 보안 입력 | 이 옵션을 선택하면 활동 입력이 로그에 표시되지 않습니다. |
Note
기본적으로 파이프라인당 최대 120개의 활동을 가질 수 있습니다. 여기에는 컨테이너에 대한 내부 활동이 포함됩니다.