注
Apache Airflow ジョブは、Apache Airflow を使用しています。
Apache Airflow ジョブは、Azure Data Factory の次世代のワークフロー オーケストレーション マネージャーです。 これにより Apache Airflow のオーケストレーション ジョブを簡単かつ効率的に作成して管理し、有向非循環グラフ (DAG) を簡単かつ大規模に実行することができます。 これは Fabric の Data Factory の一部であり、これを使用すると、豊富なデータ ソース (データベース、データ ウェアハウス、レイクハウス、リアルタイム データなど) からデータを取り込み、準備し、変換するための最新のデータ統合エクスペリエンスが利用できます。
どのような場合にApache Airflowジョブを使用するか
Apache Airflow ジョブが提供するマネージド サービスを使用すると、ユーザーが、基になるインフラストラクチャを気にすることなく、ワークフロー オーケストレーション用 Python ベース DAG (有向非循環グラフ) を作成し、管理することができます。 Apache Airflow の経験がある場合、またはコード中心のアプローチを希望する場合は、このオプションが最適です。 一方、データ オーケストレーション用のノーコード ソリューションを使用する場合、データ パイプラインは、Python ベースのワークフローの管理や記述を必要としないユーザー フレンドリな代替手段を提供します。
主な機能
Microsoft Fabric がホストする Apache Airflow ジョブは、次のようなさまざまな強力な機能を提供しています。
| 主な機能 | Fabric の Apache Airflow ジョブ | Azure Data Factory のワークフロー オーケストレーション マネージャー |
|---|---|---|
| Git 同期 | はい | はい |
| バックエンドとしての AKV (Azure Key Vault) の有効化 | はい | はい |
| 要件としてプライベート パッケージをインストールする | はい | はい |
| 診断ログとメトリック | いいえ | はい |
| ブロブストレージ | いいえ | はい |
| Apache Airflow クラスターの IP アドレス | はい | はい |
| プロダクションワークロードの実行スパイクを管理するためのオートスケール | はい | 部分的 |
| 停止/ダウンタイムを軽減するための高可用性 | はい | いいえ |
| アイドル状態のオペレーターを中断して worker を解放するための遅延可能オペレーター | はい | いいえ |
| TTL (Time to Live) の一時停止と再開 | はい | いいえ |
| SaaSified Experience - 開始まで 10 秒 - DAG の作成 - Fabric 無料試用版 | はい | いいえ |
リージョンの可用性
- オーストラリア東部
- オーストラリア南東部
- ブラジル南部
- カナダ中部
- カナダ東部
- インド中部
- 米国中部
- 東アジア
- 米国東部
- 米国東部 2
- フランス中部
- ドイツ中西部
- インドネシア中部 (近日公開予定)
- イスラエル中部
- イタリア北部
- 東日本
- 西日本
- 韓国中部
- マレーシア西部 (近日公開予定)
- メキシコ中部
- ニュージーランド北部 (近日公開予定)
- 北ヨーロッパ
- ノルウェー東部
- ポーランド中部
- カタール中部 (近日公開予定)
- スペイン中部 (近日公開予定)
- 南アフリカ北部
- 米国中南部
- インド南部
- 東南アジア
- スウェーデン中部
- スイス北部
- スイス西部
- 台湾北部 (近日公開予定)
- 台湾北西部 (近日公開予定)
- アラブ首長国連邦の北部地域
- 英国南部
- 英国西部
- 西ヨーロッパ
- 米国西部
- 米国西部 2
- 米国西部 3
サポートされている Apache Airflow のバージョン
- 2.10.5
Python バージョンのサポート
- 3.12
注
既存の Apache エアフロー ジョブ内での Apache エアフロー バージョンの変更は現在サポートされていません。 代わりに、推奨される解決策は、目的のバージョンで新しい Apache エアフロー ジョブを作成することです
関連コンテンツ
- クイックスタート: Apache Airflow ジョブを作成する。