partition operator

Applies to: ✅Microsoft Fabric✅Azure Data Explorer✅Azure Monitor✅Microsoft Sentinel

파티션 연산자는 키 열의 값에 따라 입력 테이블의 레코드를 여러 하위 테이블로 분할합니다. 연산자는 각 하위 테이블에 대해 하위 쿼리를 실행하고 모든 하위 쿼리의 결과 통합인 단일 출력 테이블을 생성합니다.

파티션 연산자는 전체 데이터 세트의 쿼리가 아니라 동일한 파티션 키에 속하는 행의 하위 집합에서만 하위 쿼리를 수행해야 하는 경우에 유용합니다. These subqueries could include aggregate functions, window functions, top N and others.

파티션 연산자는 하위 쿼리 작업의 몇 가지 전략을 지원합니다.

• Native - use with an implicit data source with thousands of key partition values.
• Shuffle - use with an implicit source with millions of key partition values.
• Legacy - use with an implicit or explicit source for 64 or less key partition values.

Syntax

T|partition [ hint.strategy=Strategy ] [ Hints ] byColumn(TransformationSubQuery)

T|partition [ hint.strategy=legacy ] [ Hints ] byColumn{SubQueryWithSource}

Learn more about syntax conventions.

Parameters

Supported hints

Returns

연산자는 개별 하위 쿼리 결과의 합을 반환합니다.

Strategies

The partition operator supports several strategies of subquery operation: native, shuffle, and legacy.

Native strategy

이 전략은 파티션 키의 고유 값 수가 크지 않은 경우(대략 수천 개) 적용해야 합니다.

하위 쿼리는 테이블 형식 소스를 지정하지 않는 테이블 형식 변환이어야 합니다. 원본은 암시적이며 하위 테이블 파티션에 따라 할당됩니다. Only certain supported operators can be used in the subquery. 파티션 수에는 제한이 없습니다.

이 전략을 사용하려면 .를 지정합니다 hint.strategy=native.

Shuffle strategy

파티션 키의 고유 값 수가 수백만 개인 경우 이 전략을 적용해야 합니다.

하위 쿼리는 테이블 형식 소스를 지정하지 않는 테이블 형식 변환이어야 합니다. 원본은 암시적이며 하위 테이블 파티션에 따라 할당됩니다. Only certain supported operators can be used in the subquery. 파티션 수에는 제한이 없습니다.

이 전략을 사용하려면 .를 지정합니다 hint.strategy=shuffle. For more information about shuffle strategy and performance, see shuffle query.

네이티브 및 순서 섞기 전략에 지원되는 연산자

다음 연산자 목록은 네이티브 또는 순서 섞기 전략을 사용하여 하위 쿼리에서 사용할 수 있습니다.

• count
• distinct
• extend
• make-series (partially supported, see note)
• mv-apply
• mv-expand
• parse
• parse-where
• project
• project-away
• project-keep
• project-rename
• project-reorder
• reduce
• sample
• sample-distinct
• scan
• search
• serialize
• sort
• summarize
• take
• top
• top-hitters
• top-nested
• where

Legacy strategy

역사적 이유로 이 legacy 전략은 기본 전략입니다. However, we recommend favoring the native or shuffle strategies, as the legacy approach is limited to 64 partitions and is less efficient.

일부 시나리오에서는 하위 쿼리에 legacy 테이블 형식 소스를 포함하도록 지원하기 때문에 전략이 필요할 수 있습니다. In such cases, the subquery can only reference the key column, Column, from the input tabular source, T. To reference the column, use the syntax toscalar(Column).

하위 쿼리가 테이블 형식 원본이 없는 테이블 형식 변환인 경우 원본은 암시적이며 하위 테이블 파티션을 기반으로 합니다.

이 전략을 사용하려면 다른 전략 표시를 지정 hint.strategy=legacy 하거나 생략합니다.

Examples

이 섹션의 예제에서는 구문을 사용하여 시작하는 방법을 보여 줍니다.

상위 값 찾기

경우에 따라 연산자를 사용하는 partition 것보다 연산자를 사용하여 top-nested 쿼리를 작성하는 것이 더 성능이 높고 더 쉽습니다. 다음 쿼리는 하위 쿼리 계산 summarize 을 실행하고 각각 top "WYOMING", "WASHINGTON", "WEST VIRGINIA" 및 "WISCONSIN"로 시작 StateW 합니다.

StormEvents
| where State startswith 'W'
| partition hint.strategy=native by State 
    (
    summarize Events=count(), Injuries=sum(InjuriesDirect) by EventType, State
    | top 3 by Events 
    ) 

Output

Native strategy

다음 쿼리는 'W'로 시작하는 각 EventType 값에 TotalInjuries 대한 상위 2 State 개 값을 반환합니다.

StormEvents
| where State startswith 'W'
| partition hint.strategy = native by State
    (
    summarize TotalInjueries = sum(InjuriesDirect) by EventType
    | top 2 by TotalInjueries
    )

Output

Shuffle strategy

다음 쿼리는 상위 3 DamagedProperty 개 값 foreach EpisodeId 와 열 및 EpisodeIdState.

StormEvents
| partition hint.strategy=shuffle by EpisodeId
    (
    top 3 by DamageProperty
    | project EpisodeId, State, DamageProperty
    )
| count

Output

명시적 원본을 사용하여 레거시 전략

다음 쿼리는 두 개의 하위 쿼리를 실행합니다.

• 이 경우 x == 1쿼리는 해당 StormEvents행의 모든 행을 반환합니다InjuriesIndirect == 1.
• 이 경우 x == 2쿼리는 해당 StormEvents행의 모든 행을 반환합니다InjuriesIndirect == 2.

최종 결과는 이 두 하위 쿼리의 합합입니다.

range x from 1 to 2 step 1
| partition hint.strategy=legacy by x {StormEvents | where x == InjuriesIndirect}
| count 

Output

Partition reference

The following example shows how to use the as operator to give a "name" to each data partition and then reuse that name within the subquery. 이 방법은 전략과 legacy 만 관련이 있습니다.

T
| partition by Dim
(
    as Partition
    | extend MetricPct = Metric * 100.0 / toscalar(Partition | summarize sum(Metric))
)