수집 매핑

적용 대상: ✅Microsoft Fabric✅Azure Data Explorer

수집 매핑은 수집하는 동안 테이블 내의 열에 들어오는 데이터를 매핑하는 데 사용됩니다.

데이터 탐색기는 행 지향(CSV, JSON, AVRO 및 W3CLOGFILE) 및 열 지향(Parquet 및 ORC) 등 다양한 유형의 매핑을 지원합니다.

수집 매핑은 수집 명령에서 정의하거나 ingestionMappingReference 매개 변수를 사용하여 수집 명령에서 미리 생성된 참조할 수 있습니다. 매핑을 지정하지 않고도 수집이 가능합니다. 자세한 내용은 ID 매핑을 참조 하세요.

매핑 목록의 각 요소는 다음 세 개의 필드에서 생성됩니다.

지원되는 매핑 형식

다음 표에서는 특정 형식의 외부 데이터를 수집하거나 쿼리할 때 사용할 매핑 형식을 정의합니다.

수집 매핑 예제

다음 예제에서는 다음 스키마와 함께 RawEvents 테이블을 사용합니다.

.create table RawEvents (timestamp: datetime, deviceId: guid, messageId: guid, temperature: decimal, humidity: decimal) 

간단한 매핑

다음 예제에서는 수집 명령에서 매핑이 정의되는 수집을 보여줍니다. 이 명령은 URL에서 RawEvents 테이블로 JSON 파일을 수집합니다. 매핑은 JSON 파일의 각 필드에 대한 경로를 지정합니다.

.ingest into table RawEvents ('https://kustosamplefiles.blob.core.windows.net/jsonsamplefiles/simple.json') 
    with (
            format = "json",
            ingestionMapping =
            ```
            [ 
              {"column":"timestamp","Properties":{"path":"$.timestamp"}},
              {"column":"deviceId","Properties":{"path":"$.deviceId"}},
              {"column":"messageId","Properties":{"path":"$.messageId"}},
              {"column":"temperature","Properties":{"path":"$.temperature"}},
              {"column":"humidity","Properties":{"path":"$.humidity"}}
            ]
            ```
          )

ingestionMappingReference 사용하여 매핑

미리 생성된 매핑을 사용하여 동일한 JSON 파일을 매핑하려면 다음 명령을 사용하여 RawEventMapping 수집 매핑 참조를 만듭니다.

.create table RawEvents ingestion json mapping 'RawEventMapping' 
  ```
  [ 
    {"column":"timestamp","Properties":{"path":"$.timestamp"}},
    {"column":"deviceId","Properties":{"path":"$.deviceId"}},
    {"column":"messageId","Properties":{"path":"$.messageId"}},
    {"column":"temperature","Properties":{"path":"$.temperature"}},
    {"column":"humidity","Properties":{"path":"$.humidity"}}
  ]
  ```

다음 명령을 사용하여 RawEventMapping 수집 매핑 참조를 사용하여 JSON 파일을 수집합니다.

.ingest into table RawEvents ('https://kustosamplefiles.blob.core.windows.net/jsonsamplefiles/simple.json') 
  with (
          format="json",
          ingestionMappingReference="RawEventMapping"
        )

ID 매핑

수집은 지정하거나 ingestionMapping 속성을 지정 ingestionMappingReference 하지 않고도 가능합니다. 데이터는 테이블의 스키마에서 파생된 ID 데이터 매핑을 사용하여 매핑됩니다. 테이블 스키마는 동일하게 유지됩니다. format 속성을 지정해야 합니다. 수집 형식을 참조 하세요.

매핑 변환

일부 데이터 형식 매핑(Parquet, JSON 및 AVRO)은 간단하고 유용한 수집 시간 변환을 지원합니다. 시나리오에서 수집 시 더 복잡한 처리가 필요한 경우 KQL 식을 사용하여 간단한 처리를 정의할 수 있는 업데이트 정책을 사용합니다.

매핑 변환 예제

DropMappedFields 변형:

다음 JSON 콘텐츠가 제공됩니다.

{
    "Time": "2012-01-15T10:45",
    "Props": {
        "EventName": "CustomEvent",
        "Revenue": 0.456
    }
}

다음 데이터 매핑은 이미 매핑된 열을 제외하는 동안 전체 Props 개체를 동적 열 Props 에 매핑합니다(Props.EventName 이미 열 EventName에 매핑되어 있으므로 제외됨).

[
    { "Column": "Time", "Properties": { "Path": "$.Time" } },
    { "Column": "EventName", "Properties": { "Path": "$.Props.EventName" } },
    { "Column": "Props", "Properties": { "Path": "$.Props", "Transform":"DropMappedFields" } },
]

수집된 데이터는 다음과 같습니다.

BytesAsBase64 변형

다음 AVRO 파일 콘텐츠가 제공됩니다.

{
    "Time": "2012-01-15T10:45",
    "Props": {
        "id": [227,131,34,92,28,91,65,72,134,138,9,133,51,45,104,52]
    }
}

다음 데이터 매핑은 변환 유무에 관계없이 ID 열을 두 번 매핑합니다.

[
    { "Column": "ID", "Properties": { "Path": "$.props.id" } },
    { "Column": "Base64EncodedId", "Properties": { "Path": "$.props.id", "Transform":"BytesAsBase64" } },
]

수집된 데이터는 다음과 같습니다.