Event Grid データ接続

2025-08-11

Event Grid インジェストは、Azure ストレージをリッスンし、サブスクライブしたイベントが発生したときに情報をプルするように Azure Data Explorer を更新するパイプラインです。 Azure Data Explorer では、BLOB 作成または BLOB 名前変更の通知に対する Azure Event Grid サブスクリプションを使用して Azure Storage (Blob Storage と ADLSv2) からの継続的なインジェストが提供され、Azure Event Hubs を介してそれらの通知が Azure Data Explorer にストリーミングされます。

Event Grid インジェストパイプラインでは、いくつかの手順が実行されます。特定の形式のデータが取り込まれるターゲットテーブルを Azure Data Explorer に作成します。次に、Azure Data Explorer で Event Grid データ接続を作成します。 Event Grid データ接続では、データを送信するテーブルやテーブルのマッピングなど、イベントのルーティング情報を把握している必要があります。また、取り込まれるデータ、ターゲットテーブル、およびマッピングを記述するインジェストのプロパティも指定します。サンプルデータを生成し、BLOB をアップロードするか、BLOB を名前変更して、接続をテストできます。インジェスト後、BLOB を削除します。

Event Grid インジェストは、Azure portal、インジェストウィザード、C# または Python のプログラム、または Azure Resource Manager テンプレートを使って管理できます。

Azure Data Explorer でのデータインジェストに関する一般的な情報については、「Azure Data Explorer のデータインジェスト概要」を参照してください。

Event Grid データ接続の認証メカニズム

マネージド ID ベースのデータ接続 (推奨): マネージド ID ベースのデータ接続を使用することが、データソースに接続するための最も安全な方法です。データソースからデータをフェッチする機能を完全に制御できます。

マネージド ID を使用した Event Grid データ接続のセットアップには、次の手順とアクセス許可が必要です。
1. ソースデータストレージアカウントの Azure サブスクリプションで EventGrid 共同作成者ロールが割り当てられていることを確認します。
2. クラスターにマネージド ID を追加します。
3. マネージド ID にデータソースに対するアクセス許可を付与します。 Azure Storage からデータを取得するには、マネージド ID に Azure Storage アカウントに対する [ストレージ BLOB データ閲覧者] アクセス許可が必要です。
4. マネージド ID にイベントハブに対するアクセス許可を付与します。イベントハブから BLOB 通知を取得するには、マネージド ID に Azure Event Hubs に対する [Azure Event Hubs データ受信者] アクセス許可が必要です。
5. ターゲットデータベースにマネージド ID ポリシーを設定します。
6. マネージド ID 認証を使用してデータを取得するデータ接続を作成します。
注
- イベントハブコンシューマーグループは、コンシューマーごとに一意である 必要があります 。すべての Azure Data Explorer データ接続に専用のコンシューマーグループを作成します。
注意事項
- データソースからマネージド ID のアクセス許可が削除されると、データ接続は機能しなくなり、データを取得できなくなります。
- BLOB 通知がストリームされる既存の Event Hubs 名前空間でローカル認証が無効になっている場合、データ接続にはマネージド ID 認証を使用し、リソースを正しく構成する必要があります。詳細については、Event Grid の既知の問題に関する記事を参照してください。

キーベースのデータ接続: マネージド ID 認証がデータ接続で指定されていない場合、接続は自動的にキーベースの認証に設定されます。キーベースの接続では、リソース接続文字列 (Azure Event Hubs 接続文字列など) を使用してデータがフェッチされます。 Azure Data Explorer は、指定されたリソースの接続文字列を取得し、安全に保存します。その後、接続文字列を使用して、データソースからデータがフェッチされます。

注意事項

キーがローテーションされると、データ接続は機能しなくなり、データソースからデータを取得できなくなります。この問題を解決するには、データ接続を更新するか再作成します。

データ形式

サポートされる形式を確認してください。
サポートされる圧縮を確認してください。
- 元の非圧縮データサイズは、BLOB メタデータの一部である必要があります。それ以外の場合は、Azure Data Explorer によって推定されます。ファイルごとのインジェストの非圧縮サイズの制限は 6 GB です。
  
  注
  
  Event Grid 通知サブスクリプションは、BlobStorage、StorageV2、または Data Lake Storage Gen2 に対して Azure Storage アカウントで設定できます。

インジェストのプロパティ

BLOB メタデータを使用して、BLOB インジェストのインジェストプロパティを指定できます。次のプロパティを設定できます。

プロパティ	説明
`rawSizeBytes`	未加工の (圧縮されていない) データのサイズ。 Avro/ORC/Parquet の場合、これは形式固有の圧縮が適用される前のサイズです。このプロパティを圧縮されていないデータサイズ (バイト単位) に設定して、元のデータサイズを指定します。
`kustoDatabase`	大文字と小文字が区別される、ターゲットデータベースの名前。既定では、データはデータ接続に関連付けられているターゲットデータベースに取り込まれます。既定のデータベースをオーバーライドし、別のデータベースにデータを送信するには、このプロパティを使用します。これを行うには、最初にマルチデータベース接続として接続を設定する必要があります。
`kustoTable`	大文字と小文字が区別される、既存のターゲットテーブルの名前。 [`Table`] ペインで設定された `Data Connection` をオーバーライドします。
`kustoDataFormat`	データ形式。 [`Data format`] ペインで設定された `Data Connection` をオーバーライドします。
`kustoIngestionMappingReference`	使用する既存のインジェストマッピングの名前。 [`Column mapping`] ペインで設定された `Data Connection` をオーバーライドします。
`kustoIgnoreFirstRecord`	`true` に設定した場合、Kusto で BLOB の最初の行が無視されます。表形式のデータ (CSV、TSV など) でヘッダーを無視するために使用します。
`kustoExtentTags`	結果のエクステントに添付されるタグを表す文字列。
`kustoCreationTime`	ISO 8601 文字列として書式設定された Blob のエクステント作成時間をオーバーライドします。バックフィルに使用します。

イベントルーティング

クラスターへのデータ接続を作成するときに、取り込まれたデータの送信先のルーティングを指定します。既定のルーティングは、ターゲットデータベースに関連付けられている接続文字列で指定されたターゲットテーブルです。データに対する既定のルーティングは、"静的ルーティング" と呼ばれることもあります。イベントデータのプロパティを使用することで、データの代替ルーティングを指定できます。

イベントデータを別のデータベースにルーティングする

代替データベースへのデータのルーティングは、既定では無効になっています。データを別のデータベースに送信するには、最初に、マルチデータベース接続として接続を設定する必要があります。この操作は、Azure portal、C#、Python、または ARM テンプレートで実行できます。データベースルーティングを許可するために使用されるユーザー、グループ、サービスプリンシパル、またはマネージド ID には、少なくともクラスターに対する共同作成者ロールと書き込みアクセス許可が必要です。詳細については、Azure Data Explorer 用に Event Grid データ接続を作成する方法に関する記事を参照してください。

別のデータベースを指定するには、データベースインジェストのプロパティを設定します。

警告

接続をマルチデータベースデータ接続として設定せずに代替データベースを指定すると、インジェストが失敗します。

イベントデータを別のテーブルにルーティングする

Azure Data Explorer クラスターへの BLOB ストレージ接続を設定するときに、ターゲットテーブルのプロパティを指定します。

テーブル名
データ形式
マッピング

BLOB メタデータを使用して、各 BLOB のターゲットテーブルのプロパティを指定することもできます。データは、インジェストのプロパティの指定に従って、動的にルーティングされます。

次の例は、BLOB メタデータをアップロードする前にインジェストのプロパティを設定する方法を示しています。 BLOB は異なるテーブルにルーティングされます。

さらに、ターゲットデータベースを指定できます。 Event Grid データ接続は、特定のデータベースのコンテキスト内で作成されます。そのため、このデータベースはデータ接続の既定のデータベースルーティングです。データを別のデータベースに送信するには、"KustoDatabase" インジェストプロパティを設定し、マルチデータベースデータ接続としてデータ接続を設定します。別のデータベースへのデータのルーティングは、既定では無効になっています (許可されません)。複数のデータベースへのデータルーティングを許可 (接続をマルチデータベースデータ接続として設定) しないで、データ接続のデータベースとは異なるデータベースインジェストプロパティを設定すると、インジェストは失敗します。

詳細については、BLOB のアップロードに関する記事を参照してください。

var container = new BlobContainerClient("<storageAccountConnectionString>", "<containerName>");
await container.CreateIfNotExistsAsync();
var blob = container.GetBlobClient("<blobName>");
// Blob is dynamically routed to table `Events`, ingested using `EventsMapping` data mapping
await blob.SetMetadataAsync(
    new Dictionary<string, string>
    {
        { "rawSizeBytes", "4096" }, // the uncompressed size is 4096 bytes
        { "kustoTable", "Events" },
        { "kustoDataFormat", "json" },
        { "kustoIngestionMappingReference", "EventsMapping" },
        { "kustoDatabase", "AnotherDB" }
    }
);
await blob.UploadAsync(BinaryData.FromString(File.ReadAllText("<filePath>")));

BLOB をアップロードする

ローカルファイルから BLOB を作成し、インジェストのプロパティを BLOB メタデータに設定して、それをアップロードすることができます。例については、「Event Grid データ接続を使用する」を参照してください。

注

データ生成には BlockBlob の使用を強くお勧めします。AppendBlob を使用すると予期しない動作を引き起こす可能性があります。
Azure Data Lake Gen2 ストレージの SDK を使用するには、ファイルのアップロードに CreateFile を使用し、最後の Flush で close パラメーターを true に設定する必要があります。 Data Lake Gen2 SDK の詳細な例については、「Event Grid データ接続を使用する」を参照してください。
階層型名前空間機能が有効になっているストレージアカウントでは、 CopyBlob 操作に続くインジェストのトリガーはサポートされていません。
イベントハブエンドポイントでイベントの受信が認識されない場合、Azure Event Grid によって再試行メカニズムがアクティブ化されます。この再試行配信に失敗した場合、配信されなかったイベントは Event Grid の "配信不能" プロセスを使用してストレージアカウントに配信できます。詳細については、Event Grid のメッセージの配信と再試行に関する記事を参照してください。
"OpenWrite" API を使用して BLOB に書き込むのはお勧めしません。これは、空の BLOB の通知をトリガーし、空の BLOB エラーが発生するためです。さらに、同じ BLOB の重複通知や複数回のインジェストを防ぐために、ストリームのフラッシュは 1 回のみ行ってください。
Azure Data Explorer は、Event Grid や Storage などのアップストリームサービスによって送信されたのと同じ BLOB に対して重複する通知を除外しようとします。重複するイベントが検出されると、インジェストがスキップされ、エラー BlobAlreadyReceived_DuplicateEventGridNotificationがログに記録されます。これは、BLOB が既に処理されていることを意味します。

BLOB を名前変更する

ADLSv2 を使用する場合、BLOB を名前変更して、Azure Data Explorer への BLOB インジェストをトリガーできます。例については、「BLOB を名前変更する」を参照してください。

注

ディレクトリの名前変更は ADLSv2 で実行できますが、"名前変更された BLOB" イベントおよびディレクトリ内への BLOB のインジェストはトリガーされません。名前変更後に BLOB を取り込むには、目的の BLOB を直接名前変更します。
データ接続を作成するとき、または Event Grid リソースを手動で作成するときに、特定のサブジェクトを追跡するフィルターを定義した場合、これらのフィルターは対象のファイルパスに適用されます。

ストレージライフサイクルを使用した BLOB の削除

Azure Data Explorer へのロジックビルドでは、インジェスト後に BLOB は削除されません。 Azure Blob Storage のライフサイクルを使用して、BLOB の削除を管理してください。 BLOB は 3 日から 5 日間保持することをお勧めします。

Event Grid の既知の問題

ローカル認証を使用しない場合の構成

BLOB 通知のストリーミングに使用されるイベントハブを含む Event Hubs 名前空間でローカル認証が無効になっている場合、マネージド ID を使用してストレージからイベントハブにデータが適切に流れるように、以下の手順を実行します。

手順
PowerShell スクリプト

ストレージアカウントの Event Grid システムトピックに、システム割り当てのマネージド ID を割り当てます。詳細については、システムトピックのマネージド ID の有効化に関する記事を参照してください。
マネージド ID にイベントハブに対する [Azure Event Hubs データ送信者] ロールを割り当てて、送信者アクセス許可を付与します。詳細については、ID にターゲットに対する Azure ロールの追加に関する記事を参照してください。
Event Grid サブスクリプションでイベント配信にマネージド ID が使用されていることを確認します。詳細については、ID を使用したイベントサブスクリプションの作成に関する記事を参照してください。

$eventGridSubscriptionId = "<AZURE SUBSCRIPTION ID OF EVENTGRID SYSTEM TOPIC>"
$eventGridResourceGroupName = "<RESOURCE GROUP NAME CONTAINING THE EVENTGRID SYSTEM TOPIC>"
$eventGridSystemTopicName = "<EVENTGRID SYSTEM TOPIC NAME>"
$eventGridSubscriptionName = "<EVENTGRID SUBSCRIPTION NAME>"

$eventhubSubscriptionId = "<AZURE SUBSCRIPTION ID OF EVENTHUB NAMESPACE>"
$eventhubResourceGroupName = "<RESOURCE GROUP NAME CONTAINING THE EVENTHUB NAMESPACE>"
$eventhubNamespaceName = "<THE EVENTHUB NAMESPACE NAME>"
$eventhubName = "<THE EVENTHUB NAME>"

Set-AzContext -SubscriptionId $eventGridSubscriptionId

Write-Host "Checking if Event Grid Topic exists"
$eg = Get-AzEventGridSystemTopic -ResourceGroupName $eventGridResourceGroupName -Name $eventGridSystemTopicName
$hasSystemAssignedIdentity = $eg.IdentityType -match "SystemAssigned"

if ($hasSystemAssignedIdentity) {
    Write-Host -ForegroundColor Green "Event Grid Topic $eventGridSystemTopicName already has a system-assigned identity"
}
else {
    Write-Host "Event Grid Topic $eventGridSystemTopicName doesn't have a system-assigned identity. Assigning one..."
    Update-AzEventGridSystemTopic -ResourceGroupName $eventGridResourceGroupName -Name $eventGridSystemTopicName -EnableSystemAssignedIdentity $true
    Write-Host -ForegroundColor Green "System-assigned identity has been assigned to Event Grid Topic $eventGridSystemTopicName"
}

$eg = Get-AzEventGridSystemTopic -ResourceGroupName $eventGridResourceGroupName -Name $eventGridSystemTopicName
$identityPrincipalId = $eg.IdentityPrincipalId

Set-AzContext -SubscriptionId $eventhubSubscriptionId

$eventhubResourceId = "/subscriptions/$eventhubSubscriptionId/resourceGroups/$eventhubResourceGroupName/providers/Microsoft.EventHub/namespaces/$eventhubNamespaceName/eventhubs/$eventhubName"

Write-Host "Checking if Azure Event Hubs Data Sender role is assigned to Event Grid Topic's system-assigned identity $identityPrincipalId for Event Hub $eventhubName"
$roleAssignment = Get-AzRoleAssignment -ObjectId $identityPrincipalId -RoleDefinitionName "Azure Event Hubs Data Sender" -Scope $eventhubResourceId
$hasRoleAssignment = $null -ne $roleAssignment

if ($hasRoleAssignment) {
    Write-Host -ForegroundColor Yellow "Azure Event Hubs Data Sender role is already assigned to Event Grid Topic's system-assigned identity $identityPrincipalId for Event Hub $eventhubName"
}
else {
    Write-Host "Going to assign Azure Event Hubs Data Sender role to Event Grid Topic's system-assigned identity $identityPrincipalId for Event Hub $eventhubResourceId"
    New-AzRoleAssignment -ObjectId $identityPrincipalId -RoleDefinitionName "Azure Event Hubs Data Sender" -Scope "/subscriptions/$eventhubSubscriptionId/resourceGroups/$eventhubResourceGroupName/providers/Microsoft.EventHub/namespaces/$eventhubNamespaceName/eventhubs/$eventhubName"
    Write-Host -ForegroundColor Green "Azure Event Hubs Data Sender role has been assigned to Event Grid Topic's system-assigned identity $identityPrincipalId for Event Hub $eventhubName"
}

Write-Host "Checking if Event Subscription $eventSubscriptionName is using Systeam assigned identity"
$eventGridSubscribtion = Get-AzEventGridSystemTopicEventSubscription -ResourceGroupName $eventGridResourceGroupName -SystemTopicName $eventGridSystemTopicName -EventSubscriptionName $eventGridSubscriptionName
$deliveryIdentityType = $eventGridSubscribtion.DeliveryWithResourceIdentityType
$destination = $eventGridSubscribtion.Destination

if ($deliveryIdentityType -eq "SystemAssigned") {
    Write-Host -ForegroundColor Yellow "Event Subscription $eventGridSubscriptionName is allready using System Assigned Identity"
}
else {
    Write-Host "Event Subscription $eventGridSubscriptionName is not using System Assigned Identity. Updating..."
    Update-AzEventGridSystemTopicEventSubscription -ResourceGroupName $eventGridResourceGroupName -SystemTopicName $eventGridSystemTopicName -EventSubscriptionName $eventGridSubscriptionName -DeliveryWithResourceIdentityType "SystemAssigned" -DeliveryWithResourceIdentityDestination $destination
    Write-Host -ForegroundColor Green "Event Subscription $eventGridSubscriptionName is now using System Assigned Identity"
}

Write-Host -ForegroundColor Green "%%%%%%%% Script has been executed successfully %%%%%%%%"

さらに、マネージド ID 認証を使用するように Event Grid データ接続を構成して、Azure Data Explorer がイベントハブから通知を受信できるようにします。

Azure Data Explorer からエクスポートされたファイルに対する Event Grid インジェストを設定する

Azure Data Explorer を使用して、Event Grid インジェストに使用されるファイルをエクスポートする場合は、次の点に注意してください。

エクスポートコマンドに指定された接続文字列、または外部テーブルに指定された接続文字列が ADLS Gen2 形式の接続文字列 (abfss://filesystem@accountname.dfs.core.windows.netなど) であるが、ストレージアカウントが階層型名前空間に対して有効になっていない場合、Event Grid 通知はトリガーされません。
アカウントが階層型名前空間に対して有効でない場合、接続文字列で Blob Storage 形式 (たとえば、https://accountname.blob.core.windows.net) を使用する必要があります。 ADLS Gen2 接続文字列を使用している場合でもエクスポートは想定どおりに動作しますが、通知はトリガーされず、Event Grid インジェストは機能しません。

カスタムコンポーネントからのストレージイベントのエミュレート

カスタムコンポーネントを使用して Azure Storage イベントをエミュレートする場合、エミュレートされたイベントは Azure Blob Storage イベントスキーマに厳密に準拠している必要があります。Azure Data Explorer では、Event Grid SDK で解析できないイベントが破棄されるためです。

次の方法で共有

Event Grid データ接続

Event Grid データ接続の認証メカニズム

データ形式

インジェストのプロパティ

イベント ルーティング

イベント データを別のデータベースにルーティングする

イベント データを別のテーブルにルーティングする

BLOB をアップロードする

BLOB を名前変更する

ストレージ ライフサイクルを使用した BLOB の削除

Event Grid の既知の問題

ローカル認証を使用しない場合の構成

Azure Data Explorer からエクスポートされたファイルに対する Event Grid インジェストを設定する

カスタム コンポーネントからのストレージ イベントのエミュレート

関連するコンテンツ

フィードバック

その他のリソース

イベントルーティング

イベントデータを別のデータベースにルーティングする

イベントデータを別のテーブルにルーティングする

ストレージライフサイクルを使用した BLOB の削除

カスタムコンポーネントからのストレージイベントのエミュレート