Microsoft Fabric용 Apache Spark의 작업 큐

적용 대상:✅ Microsoft Fabric의 데이터 엔지니어링 및 데이터 과학

Fabric 용량에 대한 Spark 컴퓨팅 제한에 도달한 경우 Microsoft Fabric은 백그라운드 작업 큐를 지원합니다. 작업 큐 시스템은 큐 만료에 도달할 때까지 큐에 추가되는 작업에 대해 자동 재시도를 제공합니다. 사용자가 Azure에서 Microsoft Fabric 용량을 만들 때 분석 워크로드의 크기에 따라 용량 크기를 선택합니다.

용량을 구매한 후 관리자는 Microsoft Fabric의 용량 내에서 작업 영역을 만들 수 있습니다. 이러한 작업 영역 내에서 실행되는 Spark 작업은 지정된 용량에 할당된 최대 코어까지 사용할 수 있으며, 최대 제한에 도달하면 작업이 제한되거나 큐에 대기됩니다.

Microsoft Fabric의 Spark 동시성 제한에 대해 자세히 알아보기

작업 큐는 파이프라인 또는 스케줄러를 통해 트리거되는 Notebook 작업 및 Spark 작업 정의에 대해 지원됩니다. Notebook 공개 API를 통해 트리거되는 대화형 Notebook 작업 및 Notebook 작업에는 큐가 지원되지 않습니다.

큐는 FIFO(선입선출) 방식으로 작동합니다. 여기서 작업은 제출 시간에 따라 큐에 추가되고 지속적으로 다시 시도되고 용량이 해제될 때 실행을 시작합니다.

작업 큐 작동 방식

Spark 작업이 제출될 때 패브릭 용량이 이미 최대 컴퓨팅 제한에 있는 경우 작업을 즉시 실행할 수 없습니다. 이러한 경우 실행을 위해 작업을 큐에 대기할 수 있습니다. 파이프라인에서 Notebook을 큐에 대기하려면 다음 단계를 사용합니다.

1. 새 데이터 파이프라인 항목과 새 파이프라인 작업을 만들어 Notebook을 실행합니다.

2. 파이프라인 작업에서 설정 탭을 열고 큐에 대기할 Notebook을 선택하고 파이프라인을 실행 합니다.

   

3. 작업이 FIFO 큐에 들어갑니다. 모니터 허브로 이동하여 작업 상태가 시작되지 않음을 확인하여 대기 중이며 용량을 기다리고 있음을 나타냅니다.

4. 기존 작업이 완료되고 컴퓨팅 리소스를 확보하면 큐에서 작업이 선택됩니다. 실행이 시작되면 상태가 시작되지 않음 에서 진행 중으로 변경됩니다. 큐는 큐에 입원한 시점부터 모든 작업에 대해 24시간 후에 만료됩니다. 만료 시간에 도달하면 작업을 다시 제출해야 합니다.

큐 크기

Fabric Spark는 작업 영역에 연결된 용량 SKU 크기에 따라 큐 크기를 적용하여 사용자가 구매한 Fabric 용량 SKU에 따라 작업을 제출할 수 있는 제한 및 큐 메커니즘을 제공합니다.

다음 섹션에서는 용량 SKU를 기반으로 하는 Microsoft Fabric을 기반으로 하는 Spark 워크로드에 대한 다양한 큐 크기를 나열합니다.

Fabric 용량에 대한 최대 큐 제한에 도달하면 제출된 새 작업이 오류 메시지 [TooManyRequestsForCapacity]로 제한됩니다. Spark 컴퓨팅 또는 API 속도 제한에 도달했기 때문에 이 Spark 작업을 실행할 수 없습니다. 이 Spark 작업을 실행하려면 모니터링 허브를 통해 활성 Spark 작업을 취소하거나, 더 큰 용량 SKU를 선택하거나, 나중에 다시 시도합니다. HTTP 상태 코드: 430 {자세한 정보} HTTP 상태 코드: 430.

관련 콘텐츠

• Microsoft Fabric의 Spark에 대한 청구 및 사용률에 대해 알아봅니다.
• 데이터 엔지니어링 및 데이터 과학 환경인 Fabric용 Spark compute에 대해 알아보세요.