Data Factory でのデータ パイプライン ストレージのイベント トリガー (プレビュー)

はじめに

Data Factory データ パイプラインを呼び出す一般的なユース ケースは、ファイルの到着やファイルの削除などのファイル イベントに対してパイプラインをトリガーすることです。 Azure Data Factory (ADF) から Microsoft Fabric に移行するお客様には、ADLS/Blog ストレージ イベントの使用が一般的です。 ADF に慣れていない新しい Fabric ユーザーは、通常、OneLake のファイル イベントを使用する可能性があります。 Fabric Data Factory のトリガーは、イベントストリームや Reflex トリガーなどの Fabric プラットフォーム機能を使用します。 Fabric Data Factory パイプライン デザイン キャンバス内には、パイプラインの Reflex トリガーを作成する [トリガー] ボタンがあります。または、Fabric Activator エクスペリエンスからトリガーを直接作成することもできます。

パイプラインでストレージ イベント トリガーを設定する方法

1. パイプライン キャンバス エディター ウィンドウの上部にある [ホーム] リボンの [トリガー (プレビュー)] ボタンを選択します

   

2. [アラートの設定] パネルが開き、Azure Blob Storage ソース イベントを選択できます。

   

3. [ソース]、次に [イベントの選択] を選択して、トリガーでリッスンするストレージ イベントを選択します。

   

4. Azure サブスクリプションおよび BLOB ストレージ アカウントを選びます。

5. 新しいイベントストリーム オブジェクトは、Fabric ワークスペース内に作成されるので、[ストリームの詳細] で適切なワークスペースを選択するようにしてください。

6. [次へ] を選択します。

7. イベントの種類を選びます。 作成されたファイルとファイルを削除する以外にも、多くのイベント オプションを選択できることがわかります。

   

8. [対象] フィールドを使用して、フォルダー名、ファイル名、ファイルの種類、コンテナーを指定することで、イベントを一致するファイルとフォルダーにフィルター処理できます。

   イベントのトップレベルのデータを次に示します。

   プロパティ	タイプ	説明設定	例
   source	string	イベント ソースの完全なリソース パス。 このフィールドは書き込み可能ではありません。 この値は Event Grid によって指定されます。	/subscriptions/{subscription-id}/resourceGroups/Storage/providers/Microsoft.Storage/storageAccounts/my-storage-account
   subject	string	発行元が定義したイベントの対象のパス。	/blobServices/default/containers/my-file-system/blobs/new-file.txt
   type	string	このイベント ソース用に登録されたイベントの種類のいずれか。	Microsoft.Storage.BlobCreated
   time	string	プロバイダーの UTC 時刻に基づくイベントの生成時刻。	2017-06-26T18:41:00.9584103Z
   ID	string	イベントの一意識別子。	00000000-0000-0000-0000-000000000000
   データ	オブジェクト	Blob Storage イベントのデータ。	{{データ オブジェクト}}
   specversion	string	CloudEvents スキーマ仕様バージョン。	1.0

   

   Note

   ファイル名とフォルダー名は、[対象] フィールドの一部になります。

9. トリガー構成パネルに戻り、アイテム名 を使用して、トリガー アイテム、パイプライン名、パイプライン アクション、トリガーの名前を Reflex アイテムとして格納するワークスペースを選択します。

10. [作成] を選択して、トリガーを作成します。 これで、トリガーはパイプラインでアクティブになり、それに対して定義したストレージ イベントに反応します。

    

11. トリガーを表示するには、ワークスペースのリスト ビューに移動し、Fabric ブラウザーから名前で Reflex オブジェクトを見つけます。

12. オブジェクトの型は Reflex です。

13. トリガーを選択して、表示と編集のために Reflex オブジェクトを開きます。

    

トリガー ファイル名とフォルダー名を使用して式の値を設定する

パイプライン内では、組み込みのトリガー パラメーターを使用して、ストレージ イベントのファイルとフォルダー パスの名前を利用できます。 Data Factory は、ストレージ イベントを受信したときにこれらのパラメーターを設定します。 BLOB パスとファイル名のパラメーターは、トリガーのアクティブ化によって設定されます。 パイプライン内の式ビルダーで [トリガー パラメーター] タブを選択すると、Data Factory によって自動的にファイル名とフォルダー名が解析され、パイプライン式に動的に追加できます。

これらの組み込みパラメーターは、到着するファイル イベントの [対象] フィールドと [トピック] フィールドから設定され、パイプライン ロジックで使用するために自動的に作成されます。

@pipeline()?.TriggerEvent?.FileName

pipeline() オブジェクト参照の後に ? が使用されていることに気付くかもしれません。これは、NULL 値を処理するためにパイプライン式言語で使用されるメソッドです。 この構文は、トリガー パラメーターを使用するパイプラインをテストするときに必要です。これは、手動テスト中にファイル名とフォルダー名のパラメーターが設定されず、NULL 値が返されるためです。 ただし、ファイル イベントからパイプラインをトリガーすると、ファイル名とフォルダー名がこれらのフィールドに入力されます。

関連するコンテンツ

• Reflex トリガーの作成
• Microsoft Fabric イベントストリーム