次の方法で共有

マネージド インジェスト ソースに接続する

この記事では、Lakeflow Connect マネージド インジェスト ソースの認証の詳細を格納する接続をカタログ エクスプローラーで作成する方法について説明します。 接続に USE CONNECTION 特権または ALL PRIVILEGES を持つすべてのユーザーは、Salesforce や SQL Server などのソースからマネージド インジェスト パイプラインを作成できます。

管理者ユーザーは、パイプラインを作成するユーザーが次の場合に、この記事の手順を完了する必要があります。

  • は管理者以外のユーザーです。
  • は、Databricks API、Databricks SDK、Databricks CLI、または Databricks アセット バンドルを使用します。

これらのインターフェイスでは、ユーザーがパイプラインを作成するときに既存の接続を指定する必要があります。

または、管理者ユーザーは、データ インジェスト UI で同時に接続とパイプラインを作成できます。 Lakeflow Connect のマネージド コネクタを参照してください。

Lakeflow Connect と Lakehouse Federation

Lakehouse Federation を使用すると、データを移動せずに外部データ ソースのクエリを実行できます。 Lakeflow Connect と Lakehouse Federation のどちらかを選択する場合は、ETL パイプラインでアドホック レポートまたは概念実証作業を行う場合は、Lakehouse Federation を選択します。 「Lakehouse Federation とは」を参照してください。

特権の要件

マネージド インジェスト ソースへの接続に必要なユーザー特権は、選択したインターフェイスによって異なります。

  • データ取り込みUI

    管理者ユーザーは、接続とパイプラインを同時に作成できます。 このエンド ツー エンドインジェスト ウィザードは、UI でのみ使用できます。 すべてのマネージド インジェスト コネクタが UI ベースのパイプライン作成をサポートしているわけではありません。

  • カタログ エクスプローラー

    カタログ エクスプローラーを使用すると、接続の作成とパイプラインの作成が分離されます。 これにより、管理者以外のユーザーがパイプラインを作成するための接続を作成できます。

    パイプラインを作成するユーザーが管理者以外のユーザーであるか、Databricks API、Databricks SDK、Databricks CLI、または Databricks アセット バンドルを使用する予定の場合、管理者は最初にカタログ エクスプローラーで接続を作成する必要があります。 これらのインターフェイスでは、ユーザーがパイプラインを作成するときに既存の接続を指定する必要があります。

シナリオ サポートされているインターフェイス 必要なユーザー特権
管理者ユーザーは、接続とインジェスト パイプラインを同時に作成します。 データ取り込みUI
  • メタストア上の CREATE CONNECTION
  • ターゲット カタログに対する USE CATALOG
  • (SaaS アプリ) 既存のスキーマに対する USE SCHEMA と CREATE TABLE、またはターゲット カタログに対する CREATE SCHEMA
  • (データベース) 既存のスキーマに対する USE SCHEMA、CREATE TABLE、および CREATE VOLUME、またはターゲット カタログに対する CREATE SCHEMA
管理者ユーザーは、管理者以外のユーザーがパイプラインを作成するための接続を作成します。 管理者:
  • カタログ エクスプローラー

管理者以外:
  • データ取り込みUI
  • Databricks API
  • Databricks SDK
  • Databricks コマンドラインインターフェース (CLI)
  • Databricks アセット バンドル
 管理者:
  • メタストア上の CREATE CONNECTION

管理者以外:
  • 既存の接続で USE CONNECTION または ALL PRIVILEGES を使用します。
  • ターゲット カタログに対する USE CATALOG
  • (SaaS アプリ) 既存のスキーマに対する USE SCHEMA と CREATE TABLE、またはターゲット カタログに対する CREATE SCHEMA
  • (データベース) 既存のスキーマに対する USE SCHEMA、CREATE TABLE、および CREATE VOLUME、またはターゲット カタログに対する CREATE SCHEMA

Google Analytics 生データ

Databricks UI では、GA4 接続の OAuth のみがサポートされます。 代わりに、Databricks API を使用して接続を作成することで、基本認証を使用できます。

Databricks ユーザーインターフェース

  1. Azure Databricks ワークスペースで、[カタログ> 外部の場所 > 接続 > 接続の作成] をクリックします。
  2. 接続のセットアップ ウィザードの [接続の基本] ページで、一意の接続名を指定します。
  3. [ 接続の種類 ] ドロップダウン メニューで、[ Google Analytics 生データ] を選択します。
  4. (省略可能)コメントを追加します。
  5. [ 次へ] をクリックします。
  6. [ 認証 ] ページで、[ Google にサインイン ] をクリックし、Google アカウントの資格情報でサインインします。
  7. Lakeflow Connect による Google アカウントへのアクセスを許可するプロンプトで、[ 許可] をクリックします。
  8. [ 接続の作成] をクリックします。

Databricks API

次の例は、サービス アカウントの JSON キーを使用して基本認証を使用して GA4 への接続を作成する方法を示しています。 Databricks では、個人用アクセス トークンとサービス アカウントが監査ログの runCommand アクションに記録されないように、次のコードをローカルで実行することをお勧めします。 詳細監査ログが有効になっている場合、プレーンテキスト資格情報を使用して Azure Databricks ノートブックに接続を作成すると、 system.access.audit テーブルまたは生の監査ログにアクセスできるすべてのユーザーに表示される可能性があります。

curl -X POST \
 "${DATABRICKS_INSTANCE}/api/2.1/unity-catalog/connections" \
 -H "Authorization: Bearer ${TOKEN}" \
 -H "Content-Type: application/json" \
 -d "{
\"name\": \"YOUR_CONNECTION_NAME\",
\"connection_type\": \"GA4_RAW_DATA\",
\"options\": {
\"service_account_json\": $(jq -Rs '.' service_account.json)
},
\"comment\": \"GA4 Raw Data connection for managed ingestion\"
}"

Salesforce

Lakeflow Connect では、Salesforce プラットフォームからのデータの取り込みがサポートされています。 Databricks には、Salesforce Data Cloud でフェデレーション クエリを実行するための、Lakehouse Federation の ゼロコピー コネクタ も用意されています。

カタログ エクスプローラーで Salesforce インジェスト接続を作成するには、次の操作を行います。

  1. Azure Databricks ワークスペースで、[カタログ> 外部の場所 > 接続 > 接続の作成] をクリックします。

  2. 接続のセットアップ ウィザードの [接続の基本] ページで、一意の接続名を指定します。

  3. [ 接続の種類 ] ドロップダウン メニューで、[ Salesforce] を選択します。

  4. (省略可能)コメントを追加します。

  5. [ 次へ] をクリックします。

  6. Salesforce サンドボックス アカウントから取り込む場合は、 Is sandbox を true に設定します。

  7. [ Salesforce でサインイン] をクリックします。

    Salesforce にリダイレクトされます。

  8. Salesforce サンドボックスから取り込む場合は、[ カスタム ドメインの使用] をクリックし、サンドボックス URL を指定して、[ 続行] をクリックします。

    [カスタム ドメインの使用] ボタン

    サンドボックス URL の入力

  9. Salesforce 資格情報を入力し、[ ログイン] をクリックします。 Databricks では、Databricks インジェスト専用の Salesforce ユーザーとしてログインすることをお勧めします。

    重要

    セキュリティ上の理由から、Azure Databricks UI で OAuth 2.0 リンクをクリックした場合にのみ認証します。

  10. インジェスト ウィザードに戻った後、[ 接続の作成] をクリックします。

ServiceNow

  1. OAuth を構成します。 手順については、「 ServiceNow for Databricks インジェストの構成」を参照してください。

  2. Azure Databricks ワークスペースで、[カタログ> 外部の場所 > 接続 > 接続の作成] をクリックします。

  3. 接続のセットアップ ウィザードの [接続の基本] ページで、一意の接続名を指定します。

  4. [ 接続の種類 ] ドロップダウン メニューで、[ ServiceNow] を選択します。

  5. (省略可能)コメントを追加します。

  6. [ 次へ] をクリックします。

  7. [ 認証 ] ページで、次のように入力します。

    • インスタンス ID: ServiceNow インスタンス ID。
    • OAuth スコープ: 既定値は useraccountのままにします。
    • クライアント シークレット: ソースのセットアップで取得したクライアント シークレット。
    • クライアント ID: ソースのセットアップで取得したクライアント ID。

  8. [ ServiceNow でサインイン] をクリックします。

  9. ServiceNow 資格情報を使用してサインインします。

    Azure Databricks ワークスペースにリダイレクトされます。

  10. [ 接続の作成] をクリックします。

SharePoint

カタログ エクスプローラーで SharePoint 接続を作成する手順は、選択した OAuth メソッドによって異なります。 以下のメソッドがサポートされています。

  • ユーザーからマシンへの認証 (U2M)
  • 手動トークン更新認証

Databricks では、更新トークンを自分で計算する必要がないため、U2M の使用をお勧めします。 これは自動的に処理されます。 また、Entra ID クライアントに SharePoint ファイルへのアクセスを許可するプロセスも簡略化され、より安全です。

  1. ソースの セットアップを完了します。 取得した認証の詳細を使用して、接続を作成します。

  2. Azure Databricks ワークスペースで、カタログ > 外部データ > 接続 > 接続の作成 をクリックします。

  3. 接続のセットアップ ウィザードの [接続の基本] ページで、一意の接続名を指定します。

  4. [ 接続の種類 ] ドロップダウン メニューで、[ Microsoft SharePoint] を選択します。

  5. [ 認証の種類 ] ドロップダウン メニューで、[ OAuth] を選択します。

  6. (省略可能)コメントを追加します。

  7. [ 次へ] をクリックします。

  8. [ 認証 ] ページで、Microsoft Entra ID アプリの次の資格情報を入力します。

    • OAuth スコープ: OAuth スコープは、事前入力された値に設定したままにしておきます。
    • クライアント シークレット: ソース セットアップで取得したクライアント シークレット。
    • クライアント ID: ソースセットアップで取得したクライアント ID。
    • ドメイン: 次の形式の SharePoint インスタンス URL。 https://MYINSTANCE.sharepoint.com
    • テナント ID: ソースセットアップで取得したテナント ID。

    SharePoint 認証の詳細を格納する Unity カタログ接続の必須フィールド

  9. [ Microsoft SharePoint でサインイン] をクリックします。

    新しいウィンドウが開きます。 SharePoint 資格情報を使用してサインインすると、Entra ID アプリに付与するアクセス許可が表示されます。

  10. 承諾をクリックします。

    正常に承認されたメッセージが表示され、Azure Databricks ワークスペースにリダイレクトされます。

  11. [ 接続の作成] をクリックします。

手動更新トークン

  1. ソースの セットアップを完了します。 取得した認証の詳細を使用して、接続を作成します。

  2. Azure Databricks ワークスペースで、カタログ > 外部データ > 接続 > 接続の作成 をクリックします。

  3. 接続のセットアップ ウィザードの [接続の基本] ページで、一意の接続名を指定します。

  4. [ 接続の種類 ] ドロップダウン メニューで、[ Microsoft SharePoint] を選択します。

  5. [ 認証の種類 ] ドロップダウン メニューで、[ OAuth 更新トークン] を選択します。

  6. (省略可能)コメントを追加します。

  7. [ 次へ] をクリックします。

  8. [ 認証 ] ページで、Microsoft Entra ID アプリの次の資格情報を入力します。

    • テナント ID: ソースセットアップで取得したテナント ID。
    • クライアント ID: ソースセットアップで取得したクライアント ID。
    • クライアント シークレット: ソース セットアップで取得したクライアント シークレット。
    • 更新トークン: ソースセットアップで取得した更新トークン。

    手動更新トークンを使用して SharePoint 認証の詳細を格納する Unity カタログ接続の必須フィールド

  9. [ 接続の作成] をクリックします。

SQL Server

カタログ エクスプローラーで Microsoft SQL Server 接続を作成するには、次の操作を行います。

  1. Azure Databricks ワークスペースで、[ Catalog > External Data > Connections] をクリックします。
  2. [ 接続の作成] をクリックします。
  3. 一意の 接続名を入力します。
  4. [ 接続の種類 ] で、[ SQL Server] を選択します。
  5. [ホスト] には、SQL Server ドメイン名を指定します。
  6. [ ユーザー と パスワード] に、SQL Server ログイン資格情報を入力します。
  7. [ 作成] をクリックします。

Workday レポート

カタログ エクスプローラーで Workday レポート接続を作成するには、次の操作を行います。

  1. Workday アクセス資格情報を作成します。 手順については、「 インジェスト用に Workday レポートを構成する」を参照してください。
  2. Azure Databricks ワークスペースで、[カタログ> 外部の場所 > 接続 > 接続の作成] をクリックします。
  3. [ 接続名] に、Workday 接続の一意の名前を入力します。
  4. 接続の種類 で、Workday レポート を選んでください。
  5. 認証の種類として、OAuth 更新トークンまたはユーザー名とパスワード (基本認証) を選択し、[次へ] をクリックします。
  6. (OAuth 更新トークン)[ 認証 ] ページで、ソースセットアップで取得した クライアント ID、 クライアント シークレット、および 更新トークン を入力します。
  7. (基本認証)Workday のユーザー名とパスワードを入力します。
  8. [ 接続の作成] をクリックします。

次のステップ

カタログ エクスプローラーでマネージド インジェスト ソースへの接続を作成した後、接続に USE CONNECTION 特権または ALL PRIVILEGES を持つユーザーは、次の方法でインジェスト パイプラインを作成できます。

  • インジェスト ウィザード (サポートされているコネクタのみ)
  • Databricks アセット バンドル
  • Databricks API
  • Databricks SDK
  • Databricks コマンドラインインターフェース (CLI)

パイプラインを作成する手順については、 マネージド コネクタのドキュメントを参照してください。