標準アクセスモード (以前の共有アクセス モード) でのコンピューティングにおける許可リスト ライブラリと init スクリプト

Databricks Runtime 13.3 LTS 以降では、Unity Catalog の allowlist にライブラリと init スクリプトを追加できます。 これにより、ユーザーは、標準アクセス モードで構成されたコンピューティングでこれらの成果物を利用できます。

そのディレクトリまたはファイルが存在する前に、ディレクトリまたはファイルパスを許可リストに登録できます。 「Unity Catalog ボリュームにファイルをアップロードする」を参照してください。

許可リストに項目を追加する方法

Catalog Explorer または REST API を使用して、allowlist に項目を追加できます。

Catalog Explorer で許可リストに項目を追加するためのダイアログを開くには、次の操作を行います。

1. Azure Databricks ワークスペースで、[ カタログ。
2. 歯車アイコンの をクリックします。
3. メタストア名をクリックして、メタストアの詳細とアクセス許可の UI を開きます。
4. [許可された JAR/Init スクリプト] を選択します。
5. 追加をクリックします。

許可リストに init スクリプトを追加する

許可リスト ダイアログで以下の手順を実行して、許可リストに init スクリプトを追加します。

1. [種類] で、[Init スクリプト] を選択します。
2. [ソースの種類] で、[ボリューム] またはオブジェクト ストレージ プロトコルを選択します。
3. 許可リストに追加するソース パスを指定します。 「許可リストでパスに対しアクセス許可を適用する方法」を参照してください。

許可リストに JAR を追加する

許可リストに JAR を追加するには、許可リスト ダイアログで以下の手順を実行します。

1. [種類] には [JAR] を選択します。
2. [ソースの種類] で、[ボリューム] またはオブジェクト ストレージ プロトコルを選択します。
3. 許可リストに追加するソース パスを指定します。 「許可リストでパスに対しアクセス許可を適用する方法」を参照してください。

Maven 座標を許可リストに追加する

許可リストに Maven 座標を追加するには、許可リスト ダイアログで以下の手順を実行します。

1. [種類] で、[Maven] を選択します。
2. [ソースの種類] で、 [座標] を選択します。
3. 次の形式で名前を入力します。groudId:artifactId:version
   • 次の形式を許可リストに登録することで、ライブラリのすべてのバージョンを含めることができます。groudId:artifactId
   • 次の形式を許可リストに登録することで、すべての成果物をグループに含めることができます。groupId

許可リストでパスに対しアクセス許可を適用する方法

許可リストを使用して、Unity Catalog ボリュームとオブジェクト ストレージに格納されている JAR または init スクリプトへのアクセス権を付与することができます。 ファイルではなくディレクトリのパスを追加した場合、許可リストのアクセス許可が含まれるファイルとディレクトリに反映されます。

Unity Catalog ボリュームまたはオブジェクト ストレージに格納されているすべての成果物には、プレフィックスの照合が使用されます。 特定のディレクトリ レベルでプレフィックスの照合を防ぐには、末尾にスラッシュ (/) を含めます。 たとえば、/Volumes/prod-libraries/ では、プレフィックスが prod-libraries のファイルに対してプレフィックスの照合は実行されません。 代わりに、/Volumes/prod-libraries/ 内のすべてのファイルとディレクトリは許可リストに追加されます。

アクセス許可を次のレベルで定義できます。

1. ボリュームまたはストレージ コンテナーのベース パス。
2. ベース パスから任意の深さで入れ子になったディレクトリ。
3. 単一ファイル。

許可リストへパスを追加すると、そのパスが init スクリプトまたは JAR のインストールのいずれかに使用可能になるだけです。 Azure Databricks では、指定された場所のデータにアクセスするためのアクセス許可を引き続き確認します。

使用するプリンシパルには、指定されたボリュームに対する READ VOLUME アクセス許可が必要です。 ボリュームの読み取りを参照してください。

専用アクセス モード (以前はシングル ユーザー アクセス モード) では、割り当てられたプリンシパル (ユーザーまたはグループ) の ID が使用されます。

標準アクセス モードの場合:

• ライブラリでは、ライブラリ インストーラーの ID が使用されます。
• Init スクリプトでは、クラスター所有者の ID が使用されます。

Databricks では、読み取り専用アクセス許可を持つ init スクリプトとライブラリに関連する、すべてのオブジェクト ストレージ特権を構成することが推奨されています。 これらの場所での書き込みアクセス許可を持つユーザーは、ライブラリ ファイルまたは init スクリプト内のコード変更を行う可能性があります。

Databricks では、Microsoft Entra ID サービス プリンシパルを使用して、Azure Data Lake Storage に格納されている JAR または init スクリプトへのアクセスを管理することをお勧めします。 次のリンクされたドキュメントを使用して、このセットアップを完了してください。

1. 目的の BLOB に対する読み取りと一覧表示の権限を持つサービス プリンシパルを作成します。 「サービス プリンシパルと Microsoft Entra ID (Azure Active Directory) を使用してストレージにアクセスする」」を参照してください。

2. シークレットを使用して資格情報を保存します。 「シークレットを管理する」を参照してください。

3. 次の例のように、クラスターの作成時に Spark 構成と環境変数のプロパティを設定します。

   Spark の構成

   spark.hadoop.fs.azure.account.auth.type.<storage-account>.dfs.core.windows.net OAuth
   spark.hadoop.fs.azure.account.oauth.provider.type.<storage-account>.dfs.core.windows.net org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider
   spark.hadoop.fs.azure.account.oauth2.client.id.<storage-account>.dfs.core.windows.net <application-id>
   spark.hadoop.fs.azure.account.oauth2.client.secret.<storage-account>.dfs.core.windows.net {{secrets/<secret-scope>/<service-credential-key>}}
   spark.hadoop.fs.azure.account.oauth2.client.endpoint.<storage-account>.dfs.core.windows.net https://login.microsoftonline.com/<tenant-id>/oauth2/token
   

   環境変数

   SERVICE_CREDENTIAL={{secrets/<secret-scope>/<service-credential-key>}}
   

4. (省略可能) azcopy または Azure CLI を使用して、init スクリプトをリファクタリングします。

   init スクリプト内でクラスター構成中に設定された環境変数を参照して、検証用のシークレットとして格納された資格情報を渡すことができます。