다음을 통해 공유

Spark 모니터링 API를 사용하여 Spark 실행기 로그 가져오기

이 문서에서는 Spark 실행기 로그를 가져오는 방법을 설명합니다.

권한

호출자에게 항목에 대한 "읽기" 권한이 있어야 합니다.

필요한 위임된 범위

Item.Read.All 또는 Item.ReadWrite.All 또는 다음 세 그룹 중 하나(Spark 애플리케이션을 트리거한 항목에 따라).

  • Notebook.Read.All 또는 Notebook.ReadWrite.All
  • SparkJobDefinition.Read.All 또는 SparkJobDefinition.ReadWrite.All
  • Lakehouse.Read.All 또는 Lakehouse.ReadWrite.All

Microsoft Entra 지원 아이덴티티

이 API는 이 섹션에 나열된 Microsoft ID 지원합니다.

아이덴티티 지원
사용자 예
서비스 주체 및 관리 ID 예

실행기 로그 메타데이터 가져오기

Spark 애플리케이션의 실행기의 로그 파일 메타데이터를 가져옵니다.

인터페이스

attemptId와 함께

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=executor&meta=true

attemptId 미사용

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&meta=true

선택적 매개 변수 사용:

attemptId와 함께

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/logs?type=executor&meta=true&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}

attemptId 미사용

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&meta=true&containerId={containerId}&filenamePrefix={filenamePrefix}&offset={offset}&maxResults={maxResults}

URI 매개 변수

이름 안으로 필수 유형 설명
작업공간ID (workspaceId) 길 진실 문자열 uuid 작업 영역 ID입니다.
아이템 ID 길 진실 문자열 uuid 노트북, Spark 작업 정의 또는 Lakehouse의 항목 ID입니다.
livyId 길 진실 문자열 uuid Livy 세션 ID입니다.
앱 ID 길 진실 문자열 application_1704417105000_0001 같은 Spark 애플리케이션 ID입니다.
attemptId 길 거짓 정수 (int) 해당 애플리케이션 ID의 시도 ID입니다. 지정하지 않으면 마지막 시도의 ID가 사용됩니다.
컨테이너ID 문의 거짓 문자열 필터링할 특정 컨테이너 ID입니다. 지정하지 않으면 컨테이너 ID에 필터가 적용되지 않습니다.
파일 이름 접두사 문의 거짓 문자열 필터링할 로그 파일 이름의 접두사입니다. 지정하지 않으면 파일 이름에 필터가 적용되지 않습니다.
오프셋, 최대 결과 문의 거짓 정수 (int) 가져올 시작 인덱스 및 로그 파일 수:
- 오프셋의 경우 최소값은 0입니다. 기본값은 0입니다.
- maxResults의 경우 유효한 범위는 1에서 3,000까지입니다. 기본값은 3,000입니다.

응답

이름 유형 설명
200 OK (요청이 성공적으로 처리되었습니다) ContainerLogMeta 목록 요청이 완료되었습니다.

예시

샘플 요청

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/application/application_1724388946961_0001/logs?type=executor&meta=true&filenamePrefix=stdout

샘플 응답

상태 코드: 200

[ 
      { 
         "containerId": "container_1724388946961_0001_01_000001", 
         "nodeId": "vm-fa250420:38259", 
         "containerLogMeta": [ 
            { 
               "fileName": "stdout", 
               "fileSize": "508", 
               "lastModifiedTime": "Fri Aug 23 04:56:14 +0000 2024" 
            },
            { 
               "fileName": "stdout-active", 
               "fileSize": "0", 
               "lastModifiedTime": "Fri Aug 23 04:56:14 +0000 2024" 
            }
      ]
   }, 
   { 
         "containerId": "container_1724388946961_0001_01_000002", 
         "nodeId": "vm-90240157:35195", 
         "containerLogMeta": [ 
         { 
            "fileName": "stdout", 
            "fileSize": "508", 
            "lastModifiedTime": "Fri Aug 23 04:56:45 +0000 2024" 
         },
         { 
            "fileName": "stdout-active", 
            "fileSize": "0", 
            "lastModifiedTime": "Fri Aug 23 04:56:47 +0000 2024" 
         }
      ] 
   },
   {
         "containerId": "container_1724388946961_0001_01_000003", 
         "nodeId": "vm-fa250420:38259", 
         "containerLogMeta": [ 
         {
            "fileName": "stdout", 
            "fileSize": "508", 
            "lastModifiedTime": "Fri Aug 23 04:56:39 +0000 2024" 
         },
         {
            "fileName": "stdout-active", 
            "fileSize": "0", 
            "lastModifiedTime": "Fri Aug 23 04:56:41 +0000 2024" 
         } 
      ] 
   } 
]

실행기 로그 콘텐츠 가져오기

Spark 애플리케이션 실행기의 로그 파일 콘텐츠를 가져옵니다.

인터페이스

attemptId 미사용

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&containerId={containerId}&fileName={fileName}

선택적 매개 변수 사용:

attemptId 미사용

https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/logs?type=executor&containerId={containerId}&fileName={fileName}&size={size}

URI 매개 변수

이름 안으로 필수 유형 설명
작업공간ID (workspaceId) 길 진실 문자열 uuid 작업 영역 ID입니다.
아이템 ID 길 진실 문자열 uuid 노트북, Spark 작업 정의 또는 Lakehouse의 항목 ID입니다.
livyId 길 진실 문자열 uuid Livy 세션 ID입니다.
앱 ID 길 진실 문자열 application_1704417105000_0001 같은 Spark 애플리케이션 ID입니다.
컨테이너ID 문의 진실 문자열 실행기가 호스트되는 특정 컨테이너 ID입니다.
파일이름 문의 진실 문자열 콘텐츠를 가져올 특정 파일 이름
크기 문의 거짓 길다 파일 콘텐츠의 시작 부분에서 읽을 크기(바이트)입니다. 기본값은 1M(1024*1024) 바이트입니다.

예시

샘플 요청

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/application/application_1731308630223_0001/logs?type=executor&containerId=container_1704417105000_0001_01_000001&fileName=stdout