クエリフェデレーションとは

2025-10-08

クエリフェデレーションでは、JDBC API を使用してクエリが外部データベースにプッシュダウンされます。クエリは、Databricks とリモートコンピューティングの両方で実行されます。クエリフェデレーションは、MySQL、PostgreSQL、BigQuery、Redshift、Teradata などのソースに使用されます。

クエリフェデレーションの概要図

Lakehouse フェデレーションを使用する理由

Lakehouse は、データの冗長性と分離を減らすために、データの中央ストレージを強調しています。組織には運用環境に多数のデータシステムがあり、接続されたシステムのデータに対してさまざまな理由でクエリを実行する必要がある場合があります。

オンデマンドレポート。
概念実証作業。
新しい ETL パイプラインまたはレポートの探索フェーズ。
段階的移行中のワークロードのサポート。

これらの各シナリオでは、クエリフェデレーションを使用すると、適切な場所でデータをクエリでき、複雑で時間のかかる ETL 処理を回避できるため、より迅速に分析情報を得ることができます。

クエリフェデレーションは、次の場合のユースケースを対象としています。

Azure Databricks にデータを取り込む必要はありません。
クエリで外部データベースシステムのコンピューティングを利用したいと考えています。
Unity Catalog インターフェイスと、きめ細かいアクセス制御、データ系統、検索などのデータガバナンスの利点を必要としています。

クエリフェデレーションと Lakeflow Connect

クエリフェデレーションを使用すると、データを移動せずに外部データソースに対してクエリを実行できます。 Databricks では、マネージドコネクタを使用してインジェストすることをお勧めします。これは、高いデータ量、待機時間の短いクエリ、サードパーティの API の制限に対応するためにスケーリングされるためです。ただし、データを移動せずにクエリを実行する必要があります。マネージドインジェストコネクタとクエリフェデレーションのどちらかを選択する場合は、ETL パイプラインでのアドホックレポートまたは概念実証作業のクエリフェデレーションを選択します。

クエリフェデレーションのセットアップの概要

Lakehouse フェデレーションを使用してデータセットを読み取り専用でクエリできるようにするには、次のものを作成します。

外部データベースシステムにアクセスするためのパスと資格情報を指定する、Unity カタログ内のセキュリティ保護可能なオブジェクトである接続。
外部カタログ。外部データシステム内のデータベースをミラー化する Unity カタログ内のセキュリティ保護可能なオブジェクトです。これにより、Azure Databricks ワークスペースでそのデータシステムに対して読み取り専用クエリを実行し、Unity カタログを使用してアクセスを管理できます。

サポートされるデータソース

クエリフェデレーションでは、次のソースへの接続がサポートされています。

接続の要件

ワークスペースの要件:

Unity Catalog を使用できるワークスペース。

コンピューティング要件:

コンピューティングリソースからターゲットデータベースシステムへのネットワーク接続。「レイクハウスフェデレーションのためのネットワークに関する推奨事項」を参照してください。
Azure Databricks コンピューティングでは、Databricks Runtime 13.3 LTS 以降を使用し、Standard または デディケート アクセスモードを使用する必要があります。
SQL ウェアハウスはプロまたはサーバーレスである必要があり、2023.40 以降を使用する必要があります。

必要なアクセス許可:

接続を作成するには、メタストア管理者であるか、ワークスペースにアタッチされている Unity カタログメタストアに対する CREATE CONNECTION 権限を持つユーザーである必要があります。
外部カタログを作成するには、メタストアに対する CREATE CATALOG 権限を持ち、接続の所有者であるか、接続に対する CREATE FOREIGN CATALOG 特権を持っている必要があります。

追加の権限要件は、以下の各タスクベースのセクションで規定されています。

接続を作成する

接続では、外部データベースシステムにアクセスするためのパスと資格情報を指定します。接続を作成するには、Azure Databricks ノートブックまたは Databricks SQL クエリエディターでカタログエクスプローラーまたは CREATE CONNECTION SQL コマンドを使用できます。

Note

Databricks REST API または Databricks CLI を使用して接続を作成することもできます。 POST /api/2.1/unity-catalog/connections および Unity Catalog コマンドを参照してください。

必要な権限: メタストア管理者、または CREATE CONNECTION 特権を持つユーザー。

カタログエクスプローラー

Azure Databricks ワークスペースで、[ カタログ。
[カタログ] ペインの上部にある [追加] アイコンをクリックし、メニューから [接続の追加] を選択します。

または、[クイックアクセス] ページで、[外部データ >] ボタンをクリックし、[接続] タブに移動し、[接続の作成] をクリックします。
わかりやすい接続名を入力します。
[接続の種類] (MySQL や PostgreSQL などのデータベースプロバイダー) を選択します。
(省略可能)コメントを追加します。
[次へ] をクリックします。
接続プロパティ (ホスト情報、パス、アクセス資格情報など) を入力します。

接続の種類ごとに異なる接続情報が必要になります。左側の目次に記載されている、接続の種類に応じた記事を参照してください。
[接続の作成] をクリックします。
外部カタログの名前を入力します。
(省略可能) [接続のテスト] をクリックして、動作することを確認します。
カタログを作成をクリックします。
作成したカタログにユーザーがアクセスできるワークスペースを選択します。 [すべてのワークスペースにアクセス権を持たせる] を選択するか、[ワークスペースへの割り当て] をクリックしてワークスペースを選択し、[割り当て] をクリックします。
カタログ内のすべてのオブジェクトへのアクセスを管理できる 所有者 を変更します。テキストボックスに主要項目を入力し、表示された結果からその項目をクリックします。
カタログに関する権限を付与します。 [許可] をクリックします。
1. カタログ内のオブジェクトにアクセスできる プリンシパル を指定します。テキストボックスに主要項目を入力し、表示された結果からその項目をクリックします。
2. 各プリンシパルに付与する 特権プリセット を選択します。既定では、すべてのアカウントユーザーに BROWSE が付与されます。
  - ドロップダウンメニューから [データ閲覧者 を選択して、カタログ内のオブジェクトに対する read 権限を付与します。
  - ドロップダウンメニュー データエディター を選択して、カタログ内のオブジェクトに対する read 権限と modify 権限を付与します。
  - 付与する特権を手動で選択します。
3. [許可] をクリックします。
4. [次へ] をクリックします。
5. [メタデータ] ページで、タグのキーと値のペアを指定します。詳細については、「Unity カタログのセキュリティ保護可能なオブジェクトにタグを適用する」を参照してください。
6. (省略可能)コメントを追加します。
7. [保存] をクリックします。

SQL

ノートブックまたは SQL クエリエディターで次のコマンドを実行します。この例は、PostgreSQL データベースへの接続を対象としています。オプションは接続の種類によって異なります。左側の目次に記載されている、接続の種類に応じた記事を参照してください。

CREATE CONNECTION <connection-name> TYPE postgresql
OPTIONS (
  host '<hostname>',
  port '<port>',
  user '<user>',
  password '<password>'
);

資格情報などの機密性の高い値には、プレーンテキストの文字列ではなく Azure Databricks のシークレットを使用することをお勧めします。例えば次が挙げられます。

CREATE CONNECTION <connection-name> TYPE postgresql
OPTIONS (
  host '<hostname>',
  port '<port>',
  user secret ('<secret-scope>','<secret-key-user>'),
  password secret ('<secret-scope>','<secret-key-password>')
)

シークレットの設定については、「シークレットの管理」を参照してください。

既存の接続の管理については、「Lakehouse フェデレーションの接続の管理」を参照してください。

外部カタログを作成する

Note

UI を使用してデータソースへの接続を作成する場合は、外部カタログの作成が含まれるので、この手順は省略できます。

外部カタログは、外部データシステム内のデータベースをミラー化して、Azure Databricks と Unity Catalog を使用してそのデータベース内のデータへのアクセスを照会および管理できるようにします。外部カタログを作成するには、既に定義されているデータソースへの接続を使用します。

外部カタログを作成するには、Azure Databricks ノートブックまたは SQL クエリエディターでカタログエクスプローラーまたは CREATE FOREIGN CATALOG SQL コマンドを使用できます。 Unity Catalog API を使用することもできます。「Azure Databricks リファレンスドキュメント」を参照してください。

外部カタログメタデータは、カタログとのやり取りごとに Unity Catalog に同期されます。 Unity カタログとデータソースの間のデータ型マッピングについては、各データソースのドキュメントの 「データ型マッピング 」セクションを確認してください。

必要な権限: メタストアに対するCREATE CATALOG 権限と、接続の所有権または接続に対する CREATE FOREIGN CATALOG 特権。

カタログエクスプローラー

Azure Databricks ワークスペースで、[ カタログ をクリックしてカタログエクスプローラーを開きます。
[カタログ] ウィンドウの上部にある [ [データの追加] アイコンをクリックし、メニューから [カタログの作成] を選択します。

または、[クイックアクセス] ページで、[カタログ] ボタンをクリックし、[カタログの作成] ボタンをクリックします。
「カタログを作成する」で外部カタログを作成する手順に従います。

SQL

ノートブックまたは SQL クエリエディターで次の SQL コマンドを実行します。角かっこ内の項目は省略可能です。プレースホルダー値を次のように置き換えます。

<catalog-name>: Azure Databricks のカタログの名前。
<connection-name>: データソース、パス、アクセス資格情報を指定する接続オブジェクト。
<database-name>: Azure Databricks でカタログとしてミラーリングするデータベースの名前。 2 層の名前空間を使用する MySQL には必要ありません。
<external-catalog-name>: Databricks-to-Databricks のみ: ミラーリングしている外部の Databricks ワークスペースのカタログ名。「外部カタログを作成する」を参照してください。

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (database '<database-name>');

外部カタログの管理と操作については、「外部カタログの管理と操作」を参照してください。

具体化されたビューを使用して外部テーブルからデータを読み込む

Databricks では、具体化されたビューを作成するときに、クエリフェデレーションを使用して外部データを読み込うことをお勧めします。具体化されたビューを参照してください。

クエリフェデレーションを使用すると、ユーザーは次のようにフェデレーションデータを参照できます。

CREATE MATERIALIZED VIEW xyz AS SELECT * FROM federated_catalog.federated_schema.federated_table;

システム生成フェデレーションクエリを表示する

クエリフェデレーションは、Databricks SQL ステートメントを、フェデレーションデータソースにプッシュダウンできるステートメントに変換します。生成された SQL ステートメントを表示するには、クエリプロファイルのグラフビューで外部データソーススキャンノードクリックするか、EXPLAIN FORMATTED SQL ステートメントを実行します。対象範囲については、各データソースのドキュメントの「 サポートされているプッシュダウン 」セクションを参照してください。

Limitations

クエリは読み取り専用です。

唯一の例外は、ワークスペースのレガシ Hive メタストア (カタログフェデレーション) のフェデレーションに Lakehouse Federation を使用する場合です。そのシナリオの外部テーブルは書き込み可能です。フェデレーション Hive メタストアの外部カタログに書き込む場合の意味を参照してください。
接続のスロットリングは、Databricks SQL の同時クエリ制限を使用して決定されます。ウェアハウス間の接続ごとの制限はありません。「キューと自動スケールのロジック」を参照してください。
Unity Catalog で無効な名前を持つテーブルとスキーマはサポートされておらず、外部カタログの作成時に Unity Catalog によって無視されます。命名規則と制限事項の一覧については、「制限事項」を参照してください。
Unity カタログでは、テーブル名とスキーマ名は小文字に変換されます。これにより名前の競合が発生した場合、Databricks は外部カタログにインポートされるオブジェクトを保証できません。
参照される外部テーブルごとに、Databricks はリモートシステム内のサブクエリをスケジュールして、そのテーブルからデータのサブセットを返し、その結果を 1 つのストリームで 1 つの Databricks Executor タスクに返します。結果セットが大きすぎると、Executor がメモリ不足になる可能性があります。
専用アクセスモード (以前のシングルユーザーアクセスモード) は、接続を所有するユーザーのみが使用できます。
Lakehouse Federation では、Azure Synapse 接続または Redshift 接続の大文字と小文字を区別する識別子を持つ外部テーブルをフェデレーションすることはできません。

リソースクォータ

Azure Databricks は Unity Catalog のセキュリティ保護可能なすべてのオブジェクトにリソースクォータを実施されます。これらのクォータは、リソースの制限に記載されています。外部カタログとそのカタログに含まれるすべてのオブジェクトは、クォータ使用量の合計に含まれます。

これらのリソース制限を超えることが予想される場合は、Azure Databricks アカウントチームにお問い合わせください。

Unity Catalog リソースクォータ API を使用して、クォータの使用状況を監視できます。「 Unity Catalog リソースクォータの使用状況の監視」を参照してください。

その他のリソース

フィードバック

このページはお役に立ちましたか?

次の方法で共有

クエリフェデレーションとは

Lakehouse フェデレーションを使用する理由

クエリ フェデレーションと Lakeflow Connect

クエリフェデレーションのセットアップの概要

サポートされるデータ ソース

接続の要件

接続を作成する

カタログ エクスプローラー

SQL

外部カタログを作成する

カタログ エクスプローラー

SQL

具体化されたビューを使用して外部テーブルからデータを読み込む

システム生成フェデレーション クエリを表示する

Limitations

リソース クォータ

その他のリソース

フィードバック

その他のリソース

クエリフェデレーションと Lakeflow Connect

サポートされるデータソース

カタログエクスプローラー

カタログエクスプローラー

システム生成フェデレーションクエリを表示する

リソースクォータ