Microsoft Fabric Real-Time Intelligence の eventstreams 機能を使用すると、リアルタイム イベントを Fabric に取り込み、変換してから、コードを記述せずにさまざまな宛先にルーティングできます。 イベントストリームを作成し、ストリームにイベント データ ソースを追加し、必要に応じてイベント データを変換する変換を追加してから、サポートされている宛先にデータをルーティングします。
また、イベントストリームで使用できる Apache Kafka エンドポイントでは、Kafka プロトコルを使用してリアルタイム イベントを送信または使用できます。
Fabric にイベントを取り込む
Eventstreams には、さまざまなソースからイベント データをフェッチするためのソース コネクタが用意されています。 イベントストリームの作成時 に拡張機能 を有効にすると、その他のソースを使用できます。
| 情報源 | 説明 |
|---|---|
| Azure Data Explorer (プレビュー) | Azure Data Explorer データベースとテーブルがある場合は、Eventstream を使用してテーブルから Microsoft Fabric にデータを取り込むことができます。 |
| Azure Event Hubs | Azure イベント ハブがある場合は、イベントストリーム を使用してイベント ハブ データを Microsoft Fabric に取り込むことができます。 |
| Azure Event Grid (プレビュー) | Azure Event Grid 名前空間がある場合は、Eventstream を使用して MQTT または MQTT 以外のイベント データを Microsoft Fabric に取り込むことができます。 |
| Azure Service Bus (プレビュー) | Eventstream を使用して、Azure Service Bus キューまたはトピックのサブスクリプションから Microsoft Fabric にデータを取り込むことができます。 |
| Azure IoT Hub | Azure IoT ハブがある場合は、イベントストリーム を使用して IoT データを Microsoft Fabric に取り込むことができます。 |
| カスタム エンドポイント (すなわち、標準機能のカスタム アプリ) | カスタム エンドポイント機能を使用すると、アプリケーションまたは Kafka クライアントは接続文字列を使用して イベントストリーム に接続できるため、イベントストリーム へのストリーミング データのスムーズな取り込みを可能にします。 |
| Azure IoT オペレーション | Eventstream カスタム エンドポイントを使用してリアルタイム データを Microsoft Fabric Real-Time Intelligence に直接送信するように Azure IoT Operations を構成します (Microsoft Entra ID または SASL 認証をサポートします)。 |
| サンプル データ | イベントストリームの設定中にデータ インジェストをテストするために、自転車、イエロー タクシー、ストック マーケット、バス、S&P 500 企業の株式またはセマンティック モデル ログをサンプル データ ソースとして選択できます。 |
| リアルタイム天気 (プレビュー) | Eventstream にリアルタイムの天気ソースを追加して、さまざまな場所からリアルタイムの天気データをストリーミングできます。 |
| Azure SQL Database 変更データ キャプチャ (CDC) | Azure SQL データベース CDC ソース コネクタを使用すると、Azure SQL データベース内の現在のデータのスナップショットをキャプチャできます。 コネクタは、このデータに対する将来の行レベルの変更を監視し、記録します。 |
| PostgreSQL データベースの CDC | PostgreSQL データベース変更データ キャプチャ (CDC) ソース コネクタを使用すると、PostgreSQL データベース内の現在のデータのスナップショットをキャプチャできます。 コネクタは、このデータに対する将来の行レベルの変更を監視し、記録します。 |
| MongoDB CDC (プレビュー) | Microsoft Fabric イベント ストリーム用の MongoDB CDC ソース コネクタは、MongoDB からのデータの初期スナップショットをキャプチャします。 監視するコレクションを指定できます。eventstream は、選択したデータベースおよびコレクション内のドキュメントに対するリアルタイムの変更を追跡および記録します。 |
| MySQL データベース CDC | Azure MySQL データベース変更データ キャプチャ (CDC) ソース コネクタを使用すると、Azure Database for MySQL データベース内の現在のデータのスナップショットをキャプチャできます。 監視するテーブルを指定でき、eventstream はテーブルに対する将来の行レベルの変更を記録します。 |
| Azure Cosmos DB の CDC | Microsoft Fabric イベントストリーム用の Azure Cosmos DB Change Data Capture (CDC) ソースコネクタを使用すると、Azure Cosmos DB データベース内の現在のデータのスナップショットを取得できます。 コネクタは、このデータに対する将来の行レベルの変更を監視し、記録します。 |
| 仮想マシン (VM) 上のSQLサーバー データベース (DB) CDC | Fabric イベント ストリーム用の SQL Server on VM DB (CDC) ソース コネクタを使うと、VM 上の SQL Server データベース内の現在のデータのスナップショットをキャプチャできます。 その後、このコネクタは、以降のデータに対する行レベルの変更を監視して記録します。 |
| Azure SQL Managed Instance CDC | Microsoft Fabric イベント ストリーム用の Azure SQL Managed Instance CDC ソース コネクタを使うと、SQL Managed Instance データベース内の現在のデータのスナップショットをキャプチャできます。 コネクタは、このデータに対する将来の行レベルの変更を監視し、記録します。 |
| Fabric ワークスペース アイテムイベント | Fabric ワークスペース項目イベントは、Fabric ワークスペースに変更が加えられたときに発生する個別の Fabric イベントです。 これらの変更には、Fabric アイテムの作成、更新、または削除が含まれます。 Fabric イベント ストリームを使用すると、これらの Fabric ワークスペース イベントをキャプチャし、それらを変換し、さらに分析するために Fabric のさまざまな宛先にルーティングできます。 |
| Fabric OneLake イベント | OneLake イベントを使用すると、OneLake のファイルとフォルダーの変更をサブスクライブし、それらの変更にリアルタイムで対応できます。 Fabric イベント ストリームを使用すると、これらの OneLake イベントをキャプチャして変換し、さらに分析するために Fabric のさまざまな宛先にルーティングできます。 Fabric イベント ストリーム内での OneLake イベントのシームレスな統合により、OneLake のアクティビティを監視および分析するための柔軟性が向上します。 |
| Fabric ジョブ イベント | ジョブ イベントを使用すると、Fabric がジョブを実行したときに生成された変更をサブスクライブできます。 たとえば、セマンティック モデルの更新、スケジュールされたパイプラインの実行、ノートブックの実行時の変更に対応できます。 これらの各アクティビティは、対応するジョブを生成することができ、それが、対応する一連のジョブ イベントを生成します。 Fabric イベント ストリームを使用すると、これらのジョブ イベントをキャプチャして変換し、さらに分析するために Fabric のさまざまな宛先にルーティングできます。 Fabric イベント ストリーム内でのジョブ イベントのシームレスな統合により、ジョブ内のアクティビティを監視および分析するための柔軟性が向上します。 |
| Azure Blob Storage のイベント | クライアントが Azure Blob Storage の BLOB を作成、置換、または削除すると、イベントがトリガーされます。 コネクタを使用すると、Blob Storage イベントをリアルタイム ハブの Fabric イベントにリンクできます。 これらのイベントを連続データ ストリームに変換し、それらを変換してから、Fabric のさまざまな宛先にルーティングできます。 |
| Google Cloud Pub/Sub | Google Pub/Sub は、イベントのストリームを公開してサブスクライブできるメッセージング サービスです。 Google Pub/Sub をソースとしてイベントストリームに追加して、リアルタイムイベントをキャプチャ、変換し、ファブリック内のさまざまな宛先にルーティングできます。 |
| Amazon Kinesis データストリーム | Amazon Kinesis Data ストリーム は、ストリーミング データ用に最適化された、非常にスケーラブルで耐久性の高いデータ インジェストおよび処理サービスです。 Amazon Kinesis Data ストリームをイベントストリーム内のソースとして統合することで、リアルタイムデータストリームをファブリック内の複数の宛先にルーティングする前にシームレスに処理できます。 |
| Confluent Cloud for Apache Kafka | Confluent Cloud for Apache Kafka は、Apache Kafka を使用した強力なデータ ストリーミングおよび処理機能を提供するストリーミング プラットフォームです。 Confluent Cloud for Apache Kafka をイベントストリーム内のソースとして統合することで、リアルタイム データ ストリームをシームレスに処理してから、Fabric 内の複数の宛先にルーティングできます。 |
| Apache Kafka (プレビュー) | Apache Kafka は、スケーラブルでリアルタイムのデータ システムを構築するためのオープンソースの分散プラットフォームです。 Apache Kafka をイベントストリーム内のソースとして統合することで、Apache Kafka からリアルタイム イベントをシームレスに取り込み、それらを処理してから Fabric 内の複数の宛先にルーティングできます。 |
| Amazon MSK Kafka | Amazon MSK Kafka は、セットアップ、スケーリング、管理を簡素化するフル マネージドの Kafka サービスです。 Amazon MSK Kafka をイベントストリーム内のソースとして統合することで、MSK Kafka からリアルタイム イベントをシームレスに取り込み、それらを処理してから Fabric 内の複数の宛先にルーティングできます。 |
| MQTT (プレビュー) | Microsoft Fabric イベント ストリームを使用すると、MQTT ブローカーに接続できます。MQTT ブローカー内のメッセージを Fabric イベントストリームに取り込み、Fabric 内のさまざまな宛先にルーティングできます。 |
| Solace PubSub+ (プレビュー) | Microsoft Fabric イベント ストリームを使用すると、Solace PubSub+ に接続でき、Solace PubSub+ からのメッセージを Fabric イベントストリームに取り込み、Fabric 内のさまざまな宛先にルーティングできます。 |
コードなしのエクスペリエンスを使用してイベントを処理する
イベントストリーム内のエンドツーエンドのデータ フロー図を使用すると、データ フローと組織を包括的に理解できます。
イベント プロセッサ エディターは、ドラッグ アンド ドロップ エクスペリエンスです。 コードを記述することなく、イベント データの処理、変換、ルーティングロジックを直感的に作成する方法です。
| 変革 | 説明 |
|---|---|
| フィルター | この変換を使用して、入力内のフィールドの値に基づいてイベントをフィルター処理します。 データ型 (数値またはテキスト) に応じて、変換では選択した条件に一致する値が保持されます。 |
| フィールドの管理 | この変換を使用して、入力または別の変換から入力されるフィールドの追加、削除、変更 (データ型)、または名前の変更を行います。 |
| 集計 | この変換を使用して、一定期間にわたって新しいイベントが発生するたびに集計 (合計、最小、最大、または平均) を計算します。 この操作では、これらの計算列の名前を変更したり、データ内の他のディメンションに基づいて集計をフィルター処理またはスライスしたりすることもできます。 同じ変換に 1 つ以上の集計を含めることができます。 |
| グループ化 | この変換を使用して、特定の時間枠内のすべてのイベントの集計を計算します。 1 つまたは複数のフィールドの値でグループ化することができます。 これは、列の名前変更を可能にするという点で 集計 変換に似ていますが、集計のオプションが増え、時間枠に対してより複雑なオプションが含まれます。 集計と同様に、変換ごとに複数の集計を追加できます。 |
| Union (結合) | この変換を使用して、2 つ以上のノードを接続し、共有フィールド (同じ名前とデータ型) を持つイベントを 1 つのテーブルに追加します。 一致しないフィールドは削除され、出力に含まれません。 |
| 展開する | この変換を使用して、配列内の値ごとに新しい行を作成します。 |
| 接続 | この変換を使用して、2 つのストリーム間の一致条件に基づいて 2 つのストリームのデータを結合します。 |
イベントストリームの作成中 に拡張機能 を有効にした場合、変換操作はすべての変換先でサポートされます。 派生ストリームは、カスタム エンドポイントやファブリック アクティベーターなど、一部の宛先の中間ブリッジとして機能します。 拡張機能を有効にしなかった場合、変換操作は、lakehouse と eventhouse (インジェスト前のイベント処理) の宛先に対してのみ使用できます。
イベントを転送先にルーティングする
Fabric eventstreams 機能は、サポートされている次の宛先へのデータの送信をサポートしています。
| 宛先 | 説明 |
|---|---|
| カスタム エンドポイント (標準機能のカスタム アプリ) | この宛先を使用して、リアルタイム イベントをカスタム エンドポイントにルーティングします。 独自のアプリケーションをイベントストリームに接続し、リアルタイムでイベント データを使用できます。 この宛先は、Microsoft Fabric の外部のシステムにリアルタイム データを送信する場合に便利です。 |
| Eventhouse | この変換先を使用すると、リアルタイムのイベント データをイベント ハウスに取り込むことができます。このイベントハウスでは、強力な Kusto クエリ言語 (KQL) を使用してデータのクエリと分析を行うことができます。 イベントハウスのデータを使用すると、イベント データに関するより深い洞察を得て、豊富なレポートとダッシュボードを作成できます。 インジェスト モードは、直接インジェストとインジェスト前イベント処理という 2 つから選択できます。 |
| レイクハウス | この宛先を使用すると、レイクハウスにリアルタイム イベントを取り込む前に、それらを変換できるようになります。 リアルタイム イベントは Delta Lake 形式に変換され、指定したレイクハウス テーブルに格納されます。 この宛先は、データ ウェアハウスのシナリオをサポートします。 |
| 派生ストリーム | フィルターやフィールドの管理などのストリーム操作をイベントストリームに追加した後、この特殊な種類の宛先を作成できます。 派生ストリームは、ストリーム処理後に変換された既定のストリームを表します。 派生ストリームを Fabric の複数の宛先にルーティングし、リアルタイム ハブで派生ストリームを表示できます。 |
| ファブリック アクティベーター (プレビュー) | この宛先を使用して、リアルタイムのイベント データを Fabric Activator に直接接続できます。 アクティベーターは、データに接続し、条件を監視し、行動するために必要なすべての情報を含むインテリジェントエージェントの一種です。データが特定のしきい値に達したり、他のパターンと一致したりすると、Activator はユーザーにアラートを送信したり、Power Automate ワークフローを開始したりするなどの適切なアクションを自動的に実行します。 |
イベントストリーム内の複数の宛先をアタッチして、イベントストリームが相互に干渉することなく、イベントストリームからデータを同時に受信できます。
注
少なくとも 4 つの容量ユニット (SKU: F4) で Fabric イベントストリーム機能を使用することをお勧めします。
Apache Kafka on Fabric イベントストリーム
Fabric eventstreams 機能は Apache Kafka エンドポイントを提供するため、Kafka プロトコルを介してストリーミング イベントに接続して使用できます。 アプリケーションで既に Apache Kafka プロトコルを使用して、特定のトピックを含むストリーミング イベントを送受信している場合は、それを eventstream に簡単に接続できます。 イベントストリームで提供される Kafka エンドポイントを使用するように接続設定を更新するだけです。
Fabric eventstreams 機能は、フル マネージドのクラウドネイティブ サービスである Azure Event Hubs に関連付けられています。 eventstream を作成すると、イベント ハブ名前空間が自動的にプロビジョニングされます。 イベント ハブは、プロビジョニング構成を必要とせずに既定のストリームに割り当てられます。 Azure Event Hubs の Kafka と互換性のある機能の詳細については、「 Apache Kafka 用 Azure Event Hubs とは」を参照してください。
イベントストリームにイベントを送信するための Kafka エンドポイントの詳細を取得する方法の詳細については、「 カスタム エンドポイントまたはカスタム アプリ ソースをイベントストリームに追加する」を参照してください。 eventstream からのイベントの使用については、「 カスタム エンドポイントまたはカスタム アプリの宛先をイベントストリームに追加する」を参照してください。
制限事項
ファブリック イベントストリームには、次の一般的な制限があります。 eventstream を使用する前に、これらの制限事項を確認して、要件に合っていることを確認してください。
| 制限 | 価値 |
|---|---|
| 最大メッセージ サイズ | 1 MB |
| イベント データの最大保持期間 | 90 日間 |
| イベント配信の保証 | 少なくとも 1 回 |