この概要は、Microsoft Fabric で使用できる Spark 監視 API の概要です。 これは、Spark アプリケーションの堅牢な監視と診断機能を必要とする開発者やデータ エンジニアを対象としています。
Fabric Spark 監視 API
Fabric には、ワークスペースレベルと項目レベルの両方で Spark アプリケーションを監視するための API と、個々の Spark アプリケーションの詳細な診断が用意されています。
ワークスペースと Item-Level API
| API（アプリケーションプログラミングインターフェース） | 説明 |
|---|---|
| ワークスペース内の Spark アプリケーション | ワークスペース内の Spark アプリケーションの一覧を取得します。 |
| ノートブック用の Spark アプリケーション | ノートブックに関連付けられている Spark アプリケーションの一覧を取得します。 |
| Spark ジョブ定義用の Spark アプリケーション | Spark ジョブ定義に関連付けられている Spark アプリケーションの一覧を取得します。 |
| Lakehouse 用の Spark アプリケーション | Lakehouse に関連付けられている Spark アプリケーションの一覧を取得します。 |
単一 Spark アプリケーション API
これらの API は詳細な診断に使用され、個々の Spark アプリケーションの包括的な詳細、メトリック、ログが提供されます。
| API（アプリケーションプログラミングインターフェース） | 説明 |
|---|---|
| ノートブック実行 | 特定のノートブックの実行を実行した Spark アプリケーションの詳細情報を取得します。 |
| Spark ジョブデフィニションの提出 | Spark ジョブ定義を使用して開始された Spark アプリケーションの詳細情報を取得します。 |
| Lakehouse Operation | Lakehouse 操作によってトリガーされる Spark アプリケーションの詳細情報を取得します。 |
| Spark オープン ソース メトリック API | Spark メトリックを収集するための Spark History Server API に完全に準拠しています。 |
| Livy ログ | Spark Livy ログを取得して、セッション レベルの詳細な情報を取得します。 |
| ドライバー ログ | アプリケーション レベルの問題をデバッグするためのドライバー ログにアクセスします。 |
| エグゼキューターログ | 分散実行の問題をトラブルシューティングするための Executor ログを取得します。 |
| リソース使用量 API | Spark リソースの使用状況情報を監視します。 |
次のステップ
次のリソースを使用して、Livy セッションと Spark アプリケーションの詳細な診断を一覧表示するための API にすばやくアクセスします。
- ワークスペース API と ItemLevel API
完了した Livy セッションとアクティブな Livy セッションをすべて一覧表示します。
- ワークスペース - セッションの一覧表示 (Spark)
- ノートブック - セッションの一覧表示 (ノートブック)
- Spark ジョブ定義 - セッションの一覧表示 (Spark ジョブ定義)
- Lakehouse - セッション一覧 (Lakehouse)
単一 Spark アプリケーション API
ある。 アプリケーションの詳細を取得する
- Notebook - Get Livy Session (Notebook)
- Spark ジョブ定義 - Livy セッションの取得 (SparkJobDefinition)
- Lakehouse - Get Livy Session (Lakehouse)
b。 ログとメトリックを取得する