Microsoft Fabric での Spark の自動スケーリング課金

Spark の自動スケール課金では、柔軟性とコストの最適化を強化するように設計された、Microsoft Fabric の Apache Spark ワークロード用の新しい従量課金制課金モデルが導入されています。 このモデルを有効にすると、Spark ジョブは Fabric 容量からコンピューティングを消費しなくなり、代わりに Azure Synapse Spark と同様に、個別に課金される専用のサーバーレス リソースを使用します。

このモデルは、Fabric の既存の容量ベースのモデルを補完するため、組織はワークロードに適したコンピューティング モデルを選択できます。

自動スケーリングの課金モデルと容量モデルの選択

両方のモデルを戦略的に使用することで、チームはコストとパフォーマンスのバランスを取ることができ、容量に対して安定した定期的なジョブを実行しながら、アドホックまたはコンピューティング負荷の高い Spark ワークロードを自動スケール課金にオフロードできます。

主な利点

• ✅ コスト効率 – Spark ジョブ ランタイムに対してのみ支払います。
• ✅ 独立したスケーリング – Spark ワークロードは、他の容量ベースの操作に影響を与えずに実行されます。
• ✅ エンタープライズ対応 – Azure クォータ管理と統合して、柔軟性をスケーリングします。

自動スケーリング課金のしくみ

有効にすると、自動スケール課金によって Spark ワークロードの処理方法が変更されます。

• Spark ジョブは Fabric 容量からオフロードされ、Fabric 容量の CU を消費しません。
• CU の上限は、予算またはガバナンス ポリシーに合わせて構成できます。 この制限は、Spark ワークロードの上限 (クォータに似ています) に過ぎません。 ジョブが使用した CU に対してのみ課金され、アイドル状態のコンピューティング コストは発生しません。
• Spark の課金レートに変更はありません。 Spark のコストは、Spark ジョブあたり 0.5 CU 時間のままです。
• CU の上限に達すると、Spark ジョブはキューに登録される (バッチ) か、調整されます (対話型)。
• Spark の使用状況とコストは、 Fabric 容量メトリック アプリ と Azure Cost Analysis で個別に報告されます。

ジョブのコンカレンシーとキューの動作

自動スケールの課金が有効になっている場合、Spark ジョブのコンカレンシーは、ファブリック容量管理者によって定義された 最大容量ユニット (CU) 制限 によって制御されます。標準容量モデルとは異なり、 バーストやスムージングはありません。

• 対話型 Spark ジョブ ( Lakehouse 操作、 テーブル プレビュー、 テーブルへの読み込み、 対話型ノートブック クエリなど) は、使用可能な CU が完全に使用されると 調整 されます。
• バックグラウンド Spark ジョブ ( パイプライン、 ジョブ スケジューラ、 API 実行、 Spark ジョブ定義、または テーブルメンテナンスによってトリガーされる) が キューに登録されます。

キュー のサイズは、CU の制限に直接関連付けられています。

たとえば、CU の上限が 2048 に設定されている場合、Spark ジョブ キューは最大 2048 個のジョブを保持できます。

このモデルにより、リソースの割り当ては予測可能で制御可能なままであり、大量のバーストワークロードを引き続きサポートします。

追加のクォータを要求する

データ エンジニアリングワークロードまたはデータ サイエンス ワークロードで、現在の最大容量ユニット (CU) 制限よりも高いクォータが必要な場合は、Azure クォータ ページを使用して引き上げを要求できます。

1. Azure portal に移動し、サインインします。
2. 検索バーに「Azure クォータ」と入力して選択します。
3. 使用可能なサービスの一覧からMicrosoft Fabricを選択します。
4. Fabric 容量に関連付けられているサブスクリプションを選択します。
5. 取得する新しい CU 制限を入力して、クォータ制限を編集します。
6. クォータ要求を送信します。

要求が承認されると、新しい CU 制限が更新され、Fabric 容量に適用されます。 これにより、自動スケール課金モデルは、Spark ワークロードを中断することなく、需要の増加に対応できます。

次のステップ

• Spark の自動スケーリング課金を構成する