이 문서에서는 Azure Storage(ADLS Gen2 컨테이너, Blob 컨테이너 또는 개별 Blob)에서 데이터를 가져오는 방법을 알아봅니다. 데이터를 테이블에 지속적으로 또는 일회성 수집으로 수집할 수 있습니다. 수집한 데이터는 쿼리용으로 사용하실 수 있게 됩니다.
연속 수집 (미리 보기): 연속 수집에는 Eventhouse가 Azure Storage 이벤트를 수신 대기할 수 있도록 하는 수집 파이프라인 설정이 포함됩니다. 파이프라인은 구독 이벤트가 발생할 때 이벤트하우스가 정보를 가져오도록 알립니다. 이벤트는 BlobCreated 및 BlobRenamed입니다.
중요합니다
이 기능은 프리뷰 상태입니다.
일회성 수집: 이 메서드를 사용하여 Azure Storage에서 일회성 작업으로 데이터를 검색합니다.
참고
- 연속적인 수집 스트림은 청구에 영향을 미칠 수 있습니다. 자세한 내용은 Eventhouse 및 KQL 데이터베이스 사용을 참조하세요.
경고
프라이빗 링크를 사용하여 Azure Storage 계정(연속 및 일회성)에서 수집은 지원되지 않습니다.
필수 조건
- Microsoft Fabric가 활성화된 용량을 보유한 작업 공간.
- 편집 권한이 있는 KQL 데이터베이스 입니다.
- Azure Storage 계정입니다.
연속 수집을 위한 필수 구성 요소
- 패브릭 작업 영역 아이덴티티. 내 작업 영역 은 지원되지 않습니다. 필요한 경우 새 작업 영역을 만듭니다.
Azure에서:
- Event Grid 리소스 공급자를 Azure 구독에 등록합니다.
- 스토리지 Blob 데이터 판독기 역할 권한을 작업 영역 ID에 할당합니다.
- 데이터 파일을 저장할 Blob 컨테이너를 만듭니다.
- 데이터 파일을 업로드합니다. 데이터 파일 구조는 테이블 스키마를 정의하는 데 사용됩니다. 자세한 내용은 실시간 인텔리전스에서 지원하는 데이터 형식을 참조하세요.
스토리지 계정에 작업 영역 ID 역할 할당 추가
패브릭의 작업 영역 설정에서 작업 영역 ID ID를 복사합니다.
Azure Portal에서 Azure Storage 계정으로 이동하고, 액세스 제어(IAM)>역할 할당 추가> 선택합니다.
Storage Blob 데이터 읽기 프로그램을 선택합니다.
역할 할당 추가 대화 상자에서 + 멤버 선택을 선택합니다.
작업 영역 ID를 붙여넣고 애플리케이션을 선택한 다음검토 + 할당>.
데이터 파일을 사용하여 컨테이너 만들기
스토리지 계정에서 컨테이너를 선택합니다.
+ 컨테이너를 선택하고, 컨테이너의 이름을 입력하고, 저장을 선택합니다.
컨테이너를 입력하고 , 업로드를 선택하고, 이전에 준비한 데이터 파일을 업로드합니다.
상황에 맞는 메뉴 [...]에서 컨테이너 속성을 선택하고 구성 중에 입력에 URL을 복사합니다.
원본
데이터를 가져올 원본을 설정합니다.
작업 영역에서 EventHouse를 열고 데이터베이스를 선택합니다.
KQL 데이터베이스 리본에서 데이터 가져오기를 선택합니다.
사용 가능한 목록에서 데이터 원본을 선택합니다. 이 예제에서는 Azure Storage에서 데이터를 수집합니다.
설정
대상 테이블을 선택합니다. 새 테이블에 데이터를 수집하려면 + 새 테이블을 선택하고 테이블 이름을 입력합니다.
참고
테이블 이름은 공백, 영숫자, 하이픈 및 밑줄을 포함하여 최대 1,024자 까지 사용하실 수 있습니다. 특수 문자는 지원되지 않습니다.
Azure Blob Storage 구성 연결에서 연속 수집이 켜져 있는지 확인합니다. 기본적으로 켜져 있습니다.
새 연결을 만들거나 기존 연결을 사용하여 연결을 구성합니다.
새 연결을 만들려면 다음과 같이 합니다.
스토리지 계정에 연결을 선택합니다.
다음 설명을 사용하여 필드를 채웁니다.
설정 필드 설명 구독 스토리지 계정 구독입니다. Blob Storage 계정 스토리지 계정 이름입니다. 컨테이너 수집하려는 파일이 포함된 스토리지 컨테이너입니다. 참고
프라이빗 링크 사용은 지원되지 않습니다.
연결 필드에서 드롭다운을 열고 + 새 연결을 선택한 다음, 저장, > 합니다. 연결 설정이 미리 채워집니다.
참고
새 연결을 만들면 새 Eventstream이 생성됩니다. 이름은 storate_account_name<_eventstream로> 정의됩니다. 작업 영역에서 연속 수집 이벤트 스트림을 제거하지 않도록 합니다.
기존 연결을 사용하려면 다음을 수행합니다.
기존 스토리지 계정 선택을 선택합니다.
다음 설명을 사용하여 필드를 채웁니다.
설정 필드 설명 RTAStorageAccount 패브릭에서 스토리지 계정에 연결된 이벤트 스트림입니다. 컨테이너 수집하려는 파일이 포함된 스토리지 컨테이너입니다. 연결 연결 문자열로 미리 채워집니다. 연결 필드에서 드롭다운을 열고 목록에서 기존 연결 문자열을 선택합니다. 그런 다음,닫기>을 선택합니다.
필요에 따라 파일 필터를 확장하고 다음 필터를 지정합니다.
설정 필드 설명 폴더 경로 특정 폴더 경로에서 파일을 수집하도록 데이터를 필터링합니다. 파일 확장명 특정 파일 확장명의 파일만 수집하도록 데이터를 필터링합니다. Eventstearm 설정 섹션에서 고급 설정> 이벤트 유형에서 모니터링할이벤트를 선택할 수 있습니다. 기본적으로 Blob 생성됨 이 선택됩니다. 이름이 바뀐 Blob을 선택할 수도 있습니다.
다음을 선택하여 데이터를 미리 봅니다.
검사
데이터 미리 보기가 있는 검사 탭이 열립니다.
수집 프로세스를 완료하려면 완료를 선택합니다.
참고
연속 수집 및 미리 보기 데이터를 연상하려면 구성 후에 새 스토리지 Blob을 업로드했는지 확인합니다.
선택 사항:
스키마 정의 파일 드롭다운을 사용하여 스키마가 유추되는 파일을 변경합니다.
파일 형식 드롭다운을 사용하여 데이터 형식에 따라 고급 옵션을 탐색합니다.
Table_mapping 드롭다운을 사용하여 새 매핑을 정의합니다.
명령 뷰어를 열고 입력에서 생성된 자동 명령을 보고 복사하려면 /<를 선택합니다>. 쿼리 세트에서 명령을 열 수도 있습니다.
연필 아이콘을 선택하여 열 편집
열 편집하기
참고
- 테이블 형식(CSV, TSV, PSV)의 경우 열을 두 번 매핑할 수 없습니다. 기존 열에 매핑하려면 먼저 새 열을 삭제합니다.
- 기존 열 유형은 변경할 수 없습니다. 다른 형식의 열에 매핑하려고 하면 빈 열이 생길 수 있습니다.
테이블에서 변경할 수 있는 사항은 다음 매개 변수에 따라 다릅니다.
- 테이블 유형은 신규 또는 기존입니다.
- 매핑 유형은 신규 또는 기존입니다.
| 테이블 유형입니다. | 매핑 유형 | 사용 가능한 조정 |
|---|---|---|
| 새 테이블 | 새 매핑 | 열 이름 바꾸기, 데이터 형식 변경, 데이터 원본 변경, 매핑 변환, 열 추가, 열 삭제 |
| 기존 테이블 | 새 매핑 | 열 추가(여기서 데이터 형식 변경, 이름 바꾸기 및 업데이트 가능) |
| 기존 테이블 | 기존 매핑 | 없음 |
매핑 변환
일부 데이터 형식 매핑(Parquet, JSON 및 Avro)은 간단한 수집 시간 변환을 지원합니다. 매핑 변환을 적용하려면 열 편집 창에서 열을 만들거나 업데이트합니다.
매핑 변환은 형식 문자열 또는 날짜/시간의 열에서 수행할 수 있으며 원본의 데이터 형식이 int 또는 long입니다. 자세한 내용은 지원되는 매핑 변환의 전체 목록을 참조하세요.
데이터 형식에 따른 고급 옵션
테이블 형식(CSV, TSV, PSV):
기존 테이블에서 테이블 형식을 수집하는 경우 고급>테이블 스키마 유지를 선택할 수 있습니다. 테이블 형식 데이터에는 원본 데이터를 기존 열에 매핑하는 데 사용되는 열 이름이 반드시 포함되지는 않습니다. 이 옵션을 선택하면 매핑은 순서대로 수행되고 테이블 스키마는 동일하게 유지됩니다. 이 옵션을 선택하지 않으면 데이터 구조에 관계없이 수신 데이터에 대해 새 열이 만들어집니다.
테이블 형식 데이터에는 원본 데이터를 기존 열에 매핑하는 데 사용되는 열 이름이 반드시 포함되지는 않습니다. 첫 번째 행을 열 이름으로 사용하기 위해서는 첫 번째 행을 열 머리글로 선택해 주세요.
테이블 형식(CSV, TSV, PSV):
기존 테이블에서 테이블 형식을 수집하는 경우 Table_mapping>을 선택하고 기존 스키마를 사용할 수 있습니다. 테이블 형식 데이터에는 원본 데이터를 기존 열에 매핑하는 데 사용되는 열 이름이 반드시 포함되지는 않습니다. 이 옵션을 선택하면 매핑은 순서대로 수행되고 테이블 스키마는 동일하게 유지됩니다. 이 옵션을 선택하지 않으면 데이터 구조에 관계없이 수신 데이터에 대해 새 열이 만들어집니다.
첫 번째 행을 열 이름으로 사용하려면 첫 번째 행 머리글을 선택합니다.
JSON:
JSON 데이터의 열 분할을 결정하려면 중첩 수준을 1에서 100까지 선택하세요.
요약
요약 창에서 데이터 수집이 성공적으로 완료되면 모든 단계가 녹색 확인 표시로 표시됩니다. 카드를 선택하여 데이터를 탐색하거나, 수집된 데이터를 삭제하거나, 주요 메트릭이 있는 대시보드를 만들 수 있습니다.
창을 닫으면 탐색기 탭의 데이터 스트림에서 연결을 볼 수 있습니다. 여기에서 데이터 스트림을 필터링하고 데이터 스트림을 삭제할 수 있습니다.
관련 콘텐츠
- 데이터베이스를 관리하려면 데이터 관리를 참조하세요.
- 쿼리를 만들고 저장하고 내보내려면 KQL 쿼리 세트에서 데이터 쿼리를 참조하세요.