移行を開始する前に、Fabric Data Engineering がご自分のワークロードに最適なソリューションであることを確認する必要があります。 Fabric Data Engineering では、 lakehouse、 Notebook、 Environment、 Spark ジョブ定義 (SJD) と パイプライン 項目がサポートされます。これには、さまざまなランタイム機能や Spark 機能のサポートが含まれます。
重要な考慮事項
移行戦略を立てるための最初の手順は、適合性を評価することです。 Spark に関連する特定の Fabric 機能は、現在開発中または計画中であることにご注意ください。 詳細と更新内容については、Fabric のロードマップに関するページを参照してください。
Spark については、Azure Synapse Spark と Fabric の違いの詳しい比較に関するページを参照してください。
移行シナリオ
既存の Spark ワークロードを移行するための適切な選択肢が Fabric Data Engineering であると判断した場合、その移行プロセスには複数のシナリオとフェーズが含まれる場合があります。
- 項目: 項目の移行では、既存の Azure Synapse ワークスペースから Fabric に 1 つまたは複数の項目を転送します。 移行の詳細については、Spark プール、Spark の構成、Spark のライブラリ、ノートブック、および Spark ジョブ定義を参照してください。
- データとパイプライン: OneLake ショートカットを使用することで、ADLS Gen2 データ (Azure Synapse ワークスペースにリンクされています) を Fabric レイクハウスで使用できるようにできます。 パイプラインの移行には、ノートブックや Spark ジョブ定義パイプライン アクティビティなど、既存のパイプラインを Fabric に移動する必要があります。 詳細については、データとパイプラインの移行に関するページを参照してください。
- メタデータ: メタデータの移行では、Azure Synapse の既存の Hive MetaStore (HMS) から Fabric lakehouse に、Spark カタログ メタデータ (データベース、テーブル、パーティション) を移動します。 詳細については、HMS メタデータの移行を参照してください。
- ワークスペース: ユーザーは、メタデータを含む新しいワークスペースを Microsoft Fabric に作成することで、既存の Azure Synapse ワークスペースを移行できます。 ワークスペースの移行については、このガイダンスでは説明しません。ここでは、ユーザーが新しいワークスペースを作成するか、既存の Fabric ワークスペースを持っていることを前提とします。 詳細については、Fabric のワークスペース ロールに関する記事を参照してください。
Azure Synapse Spark から Fabric Spark に移行するには、現在のアーキテクチャについて、および Azure Synapse Spark と Fabric の違いについて深く理解する必要があります。 最初の重要な手順は評価すること、そしてその後に詳細な移行計画を作成することです。 この計画は、システム固有の特性、フェーズの依存関係、ワークロードの複雑さに合わせてカスタマイズできます。
関連するコンテンツ
- Fabric とAzure Synapse Spark
- 詳細については、Spark プール、構成、ライブラリ、ノートブック、および Spark ジョブ定義の移行オプションを参照してください
- データとパイプラインを移行する
- Hive メタストア メタデータの移行