このチュートリアルでは、完全なデータ統合シナリオの手順を 1 時間以内に提供することで、Microsoft Fabric の Data Factory の評価プロセスを高速化するのに役立ちます。 このチュートリアルを終えるまでに、Data Factory の価値と主要な機能を理解し、一般的なエンドツーエンドのデータ統合シナリオを完了する方法を理解します。
このシナリオは、概要と 3 つのモジュールに分かれています。
- チュートリアルの概要と、Microsoft Fabric で Data Factory を使用する必要がある理由。
- モジュール 1: Data Factory を使用してパイプラインを作成 し、Blob Storage から Data Lakehouse の ブロンズ データ レイヤー テーブルに生データを取り込みます。
- モジュール 2: Data Factory のデータフローを使用してデータを変換 し、 ブロンズ テーブルの生データを処理し、Data Lakehouse の ゴールド データ レイヤー テーブルに移動します。
- モジュール 3: 最初のデータ統合体験を完了 し、すべてのジョブが完了したら通知する電子メールを送信し、最後に、スケジュールに従って実行するようにフロー全体を設定します。
Microsoft Fabric における Data Factory の利点
Microsoft Fabric は、企業のすべての分析ニーズに対応する単一のプラットフォームを提供します。 データ移動、データ レイク、データ エンジニアリング、データ統合、データ サイエンス、リアルタイム分析、ビジネス インテリジェンスなど、さまざまな分析が含まれます。 Fabric を使用すると、複数のベンダーから異なるサービスを結合する必要はありません。 代わりに、ユーザーは理解しやすく、作成、オンボード、運用が容易な包括的な製品を利用できます。
Fabric の Data Factory は、 Power Query の使いやすさと Azure Data Factory のスケールとパワーを組み合わせた製品です。 両方の製品の長所を 1 つのエクスペリエンスにまとめます。 目標は、市民とプロのデータ開発者の両方が適切なデータ統合ツールを持つことです。 Data Factory は、低コードで AI 対応のデータ準備と変換エクスペリエンス、ペタバイト規模の変換、ハイブリッド接続とマルチクラウド接続を備えた数百のコネクタを提供します。
Data Factory の 3 つの主な機能
- データ インジェスト: パイプライン (またはスタンドアロンの コピー ジョブ) のコピー アクティビティを使用すると、ペタバイト規模のデータを数百のデータ ソースから Data Lakehouse に移動して、さらに処理することができます。
- データ変換と準備: Dataflow Gen2 には、300 以上のデータ変換を使用してデータを変換するためのローコード インターフェイスが用意されており、変換された結果を Azure SQL データベース、Lakehouse などの複数の変換先に読み込むことができます。
- エンドツーエンドの自動化: パイプラインは、 コピー、データフロー、ノートブックアクティビティなどを含むアクティビティのオーケストレーションを提供します。 パイプライン内のアクティビティは、順番に動作するように連結することも、独立して並列に動作することもできます。 データ統合フロー全体が自動的に実行され、1 か所で監視できます。
チュートリアルのアーキテクチャ
今後 50 分間で、エンドツーエンドのデータ統合シナリオを完了する際に、Data Factory の 3 つの主要な機能をすべて学習します。
このシナリオは、次の 3 つのモジュールに分かれています。
- モジュール 1: Data Factory を使用してパイプラインを作成 し、Blob Storage から Data Lakehouse の ブロンズ データ レイヤー テーブルに生データを取り込みます。
- モジュール 2: Data Factory のデータフローを使用してデータを変換 し、 ブロンズ テーブルの生データを処理し、Data Lakehouse の ゴールド データ レイヤー テーブルに移動します。
- モジュール 3: 最初のデータ統合体験を完了 し、すべてのジョブが完了したら通知する電子メールを送信し、最後に、スケジュールに従って実行するようにフロー全体を設定します。
チュートリアルのデータ ソースとして、サンプル データセット NYC-Taxi を使用します。 完了すると、Microsoft Fabric の Data Factory を使用して、特定の期間のタクシー料金の毎日の割引に関する分析情報を得ることができます。
次のステップ
次のセクションに進み、データ パイプラインを作成します。