次の方法で共有


Apache Spark オープン ソース API を使用して Spark アプリケーションの詳細を取得する

Fabric Spark History Server API は、 Spark オープン ソース監視 REST API と同じ構造、クエリ パラメーター、コントラクトに従い、基本的なアプリケーション情報、ステージ、ジョブ、タスク、Executor、ストレージ、ストリーミングなど、Spark アプリケーションの詳細を取得するための同じエンドポイント セットを提供します。

すべてのアプリケーションの一覧を取得する /applications エンドポイントと、現在の Spark バージョンを取得する /version エンドポイントは、ここでサポートされていない唯一のエンドポイントです。 ただし、/applications エンドポイントの代替手段として、使用可能な他の監視 API を使用して、特定の Fabric ワークスペースまたは項目の Spark アプリケーションの一覧を取得できます。

権限

呼び出し元には、項目に対する "読み取り" アクセス許可が必要です

必要な委任されたスコープ

Item.Read.All または Item.ReadWrite.All、または次の 3 つのグループのいずれか (Spark アプリケーションをトリガーした項目に応じて)

  • Notebook.Read.All または Notebook.ReadWrite.All
  • SparkJobDefinition.Read.All または SparkJobDefinition.ReadWrite.All
  • Lakehouse.Read.All または Lakehouse.ReadWrite.All

Microsoft Entra でサポートされている ID

この API では、このセクションに記載されている Microsoft ID が サポートされます。

アイデンティティ 支援
ユーザー イエス
サービス プリンシパルマネージド ID イエス

インターフェイス

attemptId の場合:

GET https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/{attemptId}/...

attemptId なし:

GET https://api.fabric.microsoft.com/v1/workspaces/{workspaceId}/notebooks|sparkJobDefinitions|lakehouses/{itemId}/livySessions/{livyId}/applications/{appId}/...

URI パラメーター

名前 場所 必須 タイプ 説明
ワークスペースID 正しい string uuid ワークスペース ID。
アイテムID 正しい string uuid ノートブックまたは Spark ジョブ定義またはレイクハウスの項目 ID。
livyId 正しい string uuid Livy セッション ID。
アプリID 正しい Spark アプリケーション ID (application_1704417105000_0001 など)。
attemptId いいえ 整数 (int) そのアプリケーション ID の試行 ID。 指定しない場合は、最後の試行の ID が使用されます。

例示

サンプル要求 1: Spark アプリケーション内の特定のジョブの詳細を取得する

GET https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/applications/application_1742369571479_0001/jobs/1 

応答のサンプル 1

状態コード:200

{ 
    "jobId": 1, 
    "name": "save at <console>:38", 
    "description": "Accelerate the processing of subsequent queries", 
    "submissionTime": "2025-03-19T07:33:40.386GMT", 
    "completionTime": "2025-03-19T07:33:46.102GMT", 
    "stageIds": [ 
                    1, 
                    2 
                ], 
    "jobGroup": "SystemJob", 
    "jobTags": [], 
    "status": "SUCCEEDED", 
    "numTasks": 4, 
    "numActiveTasks": 0, 
    "numCompletedTasks": 1, 
    "numSkippedTasks": 3, 
    "numFailedTasks": 0, 
    "numKilledTasks": 0, 
    "numCompletedIndices": 1, 
    "numActiveStages": 0, 
    "numCompletedStages": 1, 
    "numSkippedStages": 1, 
    "numFailedStages": 0, 
    "killedTasksSummary": {} 
} 

サンプル要求 2: Spark アプリケーション内の特定の SQL クエリの詳細を取得する

GET  https://api.fabric.microsoft.com/v1/workspaces/aaaabbbb-0000-cccc-1111-dddd2222eeee/notebooks/bbbbcccc-1111-dddd-2222-eeee3333ffff/livySessions/ccccdddd-2222-eeee-3333-ffff4444aaaa/applications/application_1742369571479_0001/sql/1?details=false 

応答のサンプル 2

状態コード:200

{ 
    "id": 1, 
    "status": "COMPLETED", 
    "description": "Accelerate the processing of subsequent queries", 
    "planDescription": "== Physical Plan ==\nLocalTableScan (1)\n\n\n(1) LocalTableScan\nOutput [2]: [CommonName#7, ScientificName#8]\nArguments: [CommonName#7, ScientificName#8]\n\n", 
    "submissionTime": "2025-03-19T07:33:38.090GMT", 
    "duration": 8020, 
    "runningJobIds": [], 
    "successJobIds": [ 
                0, 
                1 
        ], 
    "failedJobIds": [], 
    "nodes": [], 
    "edges": [] 
} 

サンプル要求 3: Spark アプリケーションでの特定の試行のイベント ログを取得する

GET https://api.fabric.microsoft.com/v1/workspaces/ddddeeee-3333-ffff-4444-aaaa5555bbbb/notebooks/eeeeffff-4444-aaaa-5555-bbbb6666cccc/livySessions/ffffaaaa-5555-bbbb-6666-cccc7777dddd/applications/application_1741176604085_0001/1/logs  

応答のサンプル 3

読み取り不可能なコードであるため、表示されません