적용 대상: ✅Microsoft Fabric✅Azure Data Explorer
데이터 수집은 테이블에 데이터를 추가하고 쿼리에 사용할 수 있도록 합니다. 쿼리에서 수집 이외의 모든 수집 메서드의 경우 데이터는 지원되는 형식 중 하나로 지정해야 합니다. 다음 표에서는 데이터 수집에 지원되는 형식을 나열하고 설명합니다.
참고 항목
데이터를 수집하기 전에 데이터의 형식이 올바르게 지정되었는지 확인하고 필요한 필드를 정의합니다. 기본 유효성 검사기를 사용하여 형식이 유효한지 확인하는 것이 좋습니다. 예를 들어 CSV 또는 JSON 파일을 확인하는 데 유용한 다음과 같은 유효성 검사기를 찾을 수 있습니다.
- CSV: http://csvlint.io/
- JSON: https://jsonlint.com/
인제스천이 실패하는 이유를 알아보려면 인제스천 실패를 참조하세요.
및 Azure Data Explorer의 수집 오류 코드입니다.
| 형식 | 내선 번호 | Description |
|---|---|---|
| ApacheAvro | .avro |
논리 형식을 지원하는 Avro형식입니다. 지원되는 압축 코덱: null, deflate및 snappy. 형식의 판독기 apacheavro 구현은 공식 Apache Avro 라이브러리를 기반으로 합니다. Event Hubs 캡처 Avro 파일 수집에 대한 자세한 내용은 Event Hubs 캡처 Avro 파일 수집을 참조하세요. |
| Avro | .avro |
Avro 형식의 레거시 구현으로 .NET 라이브러리를 기반으로 합니다. 지원되는 압축 코덱: null 및 deflate.
snappy을 사용하려면 ApacheAvro 데이터 형식을 사용하십시오. |
| AzMonStream | N/A | Azure Monitor 는 이 형식의 데이터를 Azure Event Hubs로 내보냅니다. 이 형식은 Azure Event Hubs에서만 지원됩니다. |
| CSV | .csv |
쉼표(,)로 구분된 값을 사용하는 텍스트 파일입니다.
RFC 4180: CSV(쉼표로 구분된 값) 파일의 일반 형식 및 MIME 형식을 참조하세요. |
| JSON | .json |
JSON 개체가 \n 또는 \r\n으로 구분된 텍스트 파일입니다.
JSON Lines(JSONL)를 참조하세요. |
| MultiJSON | .multijson |
속성 모음의 JSON 배열(각각 레코드를 나타낸) 또는 공백 \n으로 구분된 속성 모음 수를 포함하는 텍스트 파일 또는 \r\n. 각 속성 백은 여러 줄로 나뉠 수 있습니다. |
| ORC | .orc |
ORC 파일 |
| Parquet | .parquet |
Parquet 파일. |
| PSV | .psv |
파이프(|)로 구분된 값을 사용하는 텍스트 파일입니다. |
| RAW | .raw |
전체 내용이 단일 문자열 값인 텍스트 파일입니다. |
| SCsv | .scsv |
세미콜론(;)으로 구분된 값을 사용하는 텍스트 파일입니다. |
| SOHsv | .sohsv |
SOH로 구분된 값을 사용하는 텍스트 파일입니다. (SOH는 ASCII 코드 포인트 1이며, 이 형식은 Hive on HDInsight에서 사용됩니다.) |
| TSV | .tsv |
탭(\t)으로 구분된 값을 사용하는 텍스트 파일입니다. |
| TSVE | .tsv |
탭(\t)으로 구분된 값을 사용하는 텍스트 파일입니다. 백슬래시(\) 문자가 이스케이프에 사용됩니다. |
| TXT | .txt |
\n으로 구분된 줄을 사용하는 텍스트 파일입니다. 빈 줄은 건너뜁니다. |
| W3CLOGFILE | .log |
W3C에서 표준화된 웹 로그 파일 형식 |
참고 항목
- ACID 기능을 일반 Parquet 형식 파일 위에 제공하는 데이터 스토리지 시스템(예: Apache Iceberg, Apache Hudi, Delta Lake)에서의 수집은 지원되지 않습니다.
- 스키마 없는 Avro는 지원되지 않습니다.
이 json 또는 multijson 형식을 사용하여 데이터를 수집하는 방법에 대한 자세한 내용은 JSON 형식 수집을 참조하세요.
지원되는 데이터 압축 형식
다음 알고리즘을 사용하여 Blob 및 파일을 압축합니다.
| 압축 | 내선 번호 |
|---|---|
| gzip | .gz |
| zip | .zip |
Blob 또는 파일 이름에 확장을 추가하여 압축을 나타냅니다.
다음은 그 예입니다.
-
MyData.csv.zip은 zip(보관 파일 또는 단일 파일)으로 압축된 CSV 형식의 Blob 또는 파일을 나타냅니다. -
MyData.json.gz은 gzip으로 압축된 JSON 형식의 Blob 또는 파일을 나타냅니다.
압축 확장명(예 MyData.zip: )만 포함하는 Blob 또는 파일 이름도 지원됩니다. 이 경우 유추할 수 없으므로 파일 형식을 수집 속성으로 지정합니다.
참고 항목
- 일부 압축 형식은 원래 파일 확장자를 압축 스트림에 저장합니다. 파일 형식을 결정할 때 이 확장명은 무시합니다. 압축된 Blob 또는 파일 이름에서 파일 형식을 확인할 수 없는 경우 수집 속성을 사용하여
format지정합니다. - 이 코덱을
Parquet,AVRO, 및ORC형식에서 사용하는 내부 청크 수준 압축 코덱과 혼동하지 마세요. 내부 압축 이름은 일반적으로 파일 형식 확장명 앞에 추가됩니다(예:< a0/>). - Deflate64/Enhanced Deflate zip 압축 방법은 지원되지 않습니다. Windows 기본 제공 zip 압축기는 2GB보다 큰 파일에서 이 메서드를 사용할 수 있습니다.