이 개요에는 Microsoft Fabric에서 사용할 수 있는 Spark 모니터링 API가 요약되어 있습니다. Spark 애플리케이션에 대한 강력한 모니터링 및 진단 기능이 필요한 개발자 및 데이터 엔지니어를 위한 것입니다.
패브릭 Spark 모니터링 API
Fabric은 작업 영역 및 항목 수준 모두에서 Spark 애플리케이션을 모니터링하는 API와 개별 Spark 애플리케이션에 대한 자세한 진단을 제공합니다.
작업 영역 및 Item-Level API
| API들 | 설명 |
|---|---|
| 작업 영역의 Spark 애플리케이션 | 작업 영역에서 Spark 애플리케이션 목록을 검색합니다. |
| Notebook용 Spark 애플리케이션 | Notebook과 연결된 Spark 애플리케이션 목록을 검색합니다. |
| Spark 작업 정의에 대한 Spark 애플리케이션 | Spark 작업 정의와 연결된 Spark 애플리케이션 목록을 검색합니다. |
| Lakehouse용 Spark 애플리케이션 | Lakehouse와 연결된 Spark 애플리케이션 목록을 검색합니다. |
단일 Spark 애플리케이션 API
이러한 API는 심층 진단에 사용되며 개별 Spark 애플리케이션에 대한 포괄적인 세부 정보, 메트릭 및 로그를 제공합니다.
| API들 | 설명 |
|---|---|
| 노트북 실행 | 특정 Notebook 실행을 실행한 Spark 애플리케이션에 대한 자세한 정보를 검색합니다. |
| Spark 작업 설명 제출 | Spark 작업 정의를 통해 시작된 Spark 애플리케이션에 대한 자세한 정보를 검색합니다. |
| 레이크하우스 작업 | Lakehouse 작업에 의해 트리거되는 Spark 애플리케이션에 대한 자세한 정보를 검색합니다. |
| Spark 오픈 소스 메트릭 API | Spark 메트릭을 수집하기 위한 Spark 기록 서버 API와 완전히 정렬됩니다. |
| 리비 기록 | 자세한 세션 수준 정보는 Spark Livy 로그를 검색합니다. |
| 드라이버 로그 | 애플리케이션 수준 문제를 디버깅하기 위한 드라이버 로그에 액세스합니다. |
| 실행기 로그 | 분산 실행 문제를 해결하기 위한 실행기 로그를 검색합니다. |
| 리소스 사용량 API | Spark 리소스 사용량 정보를 모니터링합니다. |
다음 단계
다음 리소스를 사용하여 Spark 애플리케이션에 대한 Livy 세션 및 자세한 진단을 나열하기 위한 API에 빠르게 액세스합니다.
- 작업 영역 및 ItemLevel API
완료된 모든 활성 Livy 세션을 나열합니다.
- 워크스페이스 - 세션 목록(Spark)
- Notebook - 세션 목록(Notebook)
- Spark 작업 정의 - 세션 목록(Spark 작업 정의)
- 레이크하우스 - 세션 목록 (레이크하우스)
단일 Spark 애플리케이션 API
a. 애플리케이션 세부 정보 가져오기
- Notebook - Livy 세션 가져오기(Notebook)
- Spark 작업 정의 - Livy 세션 가져오기(SparkJobDefinition)
- 레이크하우스 - 리비 세션 가져오기(레이크하우스)
b. 로그 및 메트릭 검색