Fivetran の自動データ統合は、スキーマと API の変化に応じて適応し、すぐにクエリできるスキーマを使用して信頼性の高いデータ アクセスと簡素化された分析を行えるようにします。
Databricks SQL ウェアハウス (旧称 Databricks SQL エンドポイント) と Azure Databricks クラスターを、Fivetran と統合できます。 Fivetran の Azure Databricks との統合により、さまざまなデータ ソースのデータを Delta Lake に集約できます。
Partner Connect を使用して Fivetran に接続する
このセクションでは、Partner Connect を使用して Fivetran に接続する方法について説明します。 各ユーザーは、それぞれ独自の接続を作成します。
注意
ユーザーごとの接続エクスペリエンスは パブリック プレビュー段階です。 ユーザーごとの接続を作成できないようにするには、Azure Databricks のアカウント チームにお問い合わせください。
Partner Connect を使用して接続する前に
Partner Connect を使用して Fivetran に接続する前に、以下があることを確認してください。
- ワークスペース管理者ユーザー ロールまたは次のアクセス許可。
- SQL ウェアハウスに対する CAN USE アクセス許可
- トークンの使用における「CAN USE」権限
- Unity Catalog によって管理されるデータの場合、Fivetran で書き込むカタログに対する次のメタストア オブジェクト特権。
- カタログの
USE CATALOGとCREATE SCHEMA。 - (省略可能)宛先の場所を指定するには、外部の場所に CREATE EXTERNAL TABLE し、クラウド オブジェクト ストレージ内のデータにアクセスします。
- カタログの
- レガシ Hive メタストアによって管理されるデータの場合、Fivetran で書き込むカタログに対する次のメタストア オブジェクト特権。
- カタログの
USAGEとCREATE - (省略可能) 宛先の場所を指定する場合は、クラウド オブジェクト ストレージ内のデータへのアクセス権。
- カタログの
Unity Catalog メタストア オブジェクトの特権は、メタストア管理者、オブジェクトの所有者、またはオブジェクトを含むカタログやスキーマの所有者が付与できます。 詳細については、「 Unity カタログの権限とセキュリティ保護可能なオブジェクト」を参照してください。
レガシ Hive メタストア オブジェクトの特権は、ワークスペース管理者またはオブジェクトの所有者が付与できます。 詳細については、「 Hive メタストア特権とセキュリティ保護可能なオブジェクト (レガシ)」を参照してください。
クラウド オブジェクト ストレージ内のデータへのアクセスは、クラウド オブジェクト ストレージ アカウントで十分なアクセス許可を持つワークスペース管理者が構成する必要があります。 詳細については、「 データ アクセスの構成」を参照してください。
Partner Connect の手順
Partner Connect を使用して Azure Databricks ワークスペースを Fivetran に接続するには、次の操作を行います：
サイドバーで、[ パートナー接続] をクリックします。
Fivetran タイルをクリックします。
このセクションの手順では、ユーザーレベルの Fivetran 試用版アカウントを作成します。 既存のワークスペース レベルの Fivetran 試用版アカウントにサインインするには、[ 既存の接続を使用する] をクリックし、画面の指示に従って Fivetran にサインインし、この記事の残りの手順をスキップします。
SQL ウェアハウスを選択します。 SQL ウェアハウスが停止している場合は、[ 開始] をクリックします。
ワークスペースで Unity カタログが有効になっている場合は、Fivetran の書き込み先のカタログを選択し、[ 次へ] をクリックします。
パートナー Connect は、ユーザーに関連付けられている Azure Databricks 個人用アクセス トークン を生成します。
[ Fivetran に接続] をクリックします。
Web ブラウザーに新しいタブが開き、Fivetran Web サイトが表示されます。
Fivetran Web サイトの画面の指示に従って、試用版パートナー アカウントを作成します。
Fivetran に手動で接続する
手動接続手順の概要については、以下の YouTube 動画 (2 分) をご覧ください。
注意
Fivetran を使用して SQL ウェアハウスをより高速に接続するには、Partner Connect を使用します。
手動で接続する前に
Fivetran に手動で接続する前に、次のものが必要です。
Azure Databricks ワークスペース内のクラスターまたは SQL ウェアハウス。
クラスターまたは SQL ウェアハウスの接続の詳細。具体的には、 サーバーのホスト名、 ポート、 および HTTP パス の値です。
Azure Databricks 個人用アクセス トークン または Microsoft Entra ID (旧称 Azure Active Directory) トークン。 個人用アクセス トークンを作成するには、「ワークスペース ユーザーの Azure Databricks 個人用アクセス トークンの手順に従います。
注意
セキュリティのベスト プラクティスとして、自動化されたツール、システム、スクリプト、アプリを使用して認証する場合、Databricks では、ワークスペース ユーザーではなく サービス プリンシパル に属する個人用アクセス トークンを使用することをお勧めします。 サービス プリンシパルのトークンを作成するには、サービス プリンシパル のトークンの管理に関するページを参照してください。
ヒント
ワークスペースの Partner Connect の Fivetran タイルにチェック マーク アイコンが含まれている場合は、タイルをクリックして [接続の詳細] を展開することで、接続された SQL ウェアハウスの 接続の詳細を取得できます。 個人用アクセス トークンは非表示です。代替の個人用アクセス トークンを作成し、Fivetran から要求されたときに代わりにその新しいトークンを入力する必要があります。
手動の手順
Fivetran に手動で接続するには、次の操作を行います。
Fivetran アカウントにサインインするか、https://fivetran.com/login で新しい Fivetran アカウントを作成します。
重要
組織の Fivetran アカウントにサインインすると、[ 宛先の選択] ページが表示され、Databricks ロゴを含む既存の宛先エントリが 1 つ以上一覧表示されることがあります。 これらのエントリには、自身のものとは異なる、ワークスペース内のコンピューティング リソースの接続詳細が含まれている場合があります。 これらの接続のいずれかを再利用する場合で、コンピューティング リソースを信頼し、それに対するアクセス権を持っているときには、その接続先を選択し、次の手順に進みます。 それ以外の場合は、使用可能な接続先を選択してこのページの手順にお従いください。
Fivetran のダッシュボードページで、デスティネーションタブをクリックします。
[ 宛先の追加] をクリックします。
宛先名を入力し、[追加] をクリックします。
Fivetran がモダン ELT ページで、[コネクタのセットアップ] をクリックします。
データ ソースをクリックし、[ 次へ] をクリックします。
Fivetran の セットアップ ガイド の画面の指示に従って、コネクタの設定を完了します。
[ 保存] と [テスト] をクリックします。
テストが成功したら、[ 続行] をクリックします。
[ データの変換先の選択 ] ページで、 Azure の [Databricks] をクリックします。
[ セットアップの続行] をクリックします。
Fivetran の画面の指示に従って、既存の Azure Databricks コンピューティング リソースの接続の詳細、具体的には サーバー ホスト名 と HTTP パス フィールドの値、および前に生成したトークンを入力します。
[ 保存] と [テスト] をクリックします。
テストが正常に終了したら、[ 続行] をクリックします。
次の手順に進みます。
その他のリソース
Fivetran Web サイトで、次のリソースの 1 つ以上を探索します。