このページでは、Azure Databricks ワークスペースでセキュリティとコンプライアンスの強化設定を構成する方法について説明します。
Von Bedeutung
- コンプライアンス セキュリティ プロファイルを有効にするか、ワークスペースにコンプライアンス標準を追加することは、永続的な変更を意図しています。
- 規制対象データを処理したことがある場合、ワークスペースからコンプライアンス プロファイルまたは個々の標準を削除することはできません。 元に戻すには、ワークスペースを削除し、プロファイルなしで、または別の標準で新しいワークスペースを作成する必要があります。 ヘルプについては、Azure Databricks のサポートにお問い合わせください。
要求事項
- Azure Databricks ワークスペースは Premium 価格レベルです。
- Databricks アカウントには、セキュリティ強化アドオンとコンプライアンス アドオンが含まれている必要があります。
- ワークスペース名、コンピューティング リソース名、タグ、ジョブ名、ジョブ実行名、ネットワーク名、資格情報名、ストレージ アカウント名、Git リポジトリ ID または URL など、顧客が定義した入力フィールドに機密情報が入力されないようにします。 これらのフィールドは、コンプライアンス境界外に格納、処理、またはアクセスされる場合があります。
コンプライアンス セキュリティ プロファイルの要件
ワークスペースが送信ネットワーク アクセスを制限するように構成されている場合は、ポート 2443 へのトラフィックを追加で許可するようにネットワークを構成する必要があります。 「Azure Virtual Network で Azure Databricks をデプロイする (VNet インジェクション)」を参照してください。
Arm64 ベースの仮想マシンはサポートされていません。 Azure Databricks では、コンプライアンス セキュリティ プロファイルが有効になっている場合、Arm64 ベースの VM インスタンスの種類でコンピューティングを開始することはできません。
次の VM インスタンスの種類を使用する必要があります。
汎用: Dv5 および Dsv5 シリーズ、Ddv5 および Ddsv5 シリーズ、Dlsv5 および Dldsv5 シリーズ、Dasv5 および Dadsv5 シリーズ、Dasv6 および Dadsv6 シリーズ、Dalsv6 および Daldsv6 シリーズ、Dsv6 シリーズ、Dplsv6 および Dpldsv6 シリーズ、Dpsv6 および Dpdsv6 シリーズ
メモリ負荷の高いワークロード: Ev5 および Esv5 シリーズ、Edv5 および Edsv5 シリーズ、Easv5 および Eadsv5 シリーズ、Easv6 および Eadsv6 シリーズ、Epsv6 および Epdsv6 シリーズ
コンピューティング最適化: Falsv6 シリーズ、Famsv6 シリーズ、Fasv6 シリーズ
注
コンプライアンス セキュリティ プロファイルを有効にしたワークスペースでは、 パートナーが利用する AI 機能 の設定は既定で無効になっています。 アシスタントや Genie など、一部の Databricks AI 支援機能も無効になっています。 ワークスペース管理者は、 パートナーが利用する AI 機能を有効にすることで、これらの機能を有効にすることができます。
ワークスペースでセキュリティとコンプライアンスの強化機能を有効にする
Azure portal、Azure CLI、Powershell、ARM テンプレート、または Terraform を使用して、セキュリティとコンプライアンス機能が強化されたワークスペースを作成できます。
Azure portal を使用する
Azure portal で、[
設定] の [セキュリティ & コンプライアンス] をクリックして、既存の Azure Databricks ワークスペース、または Azure Databricks ワークスペースの作成ページに移動します。コンプライアンス セキュリティ プロファイルを有効にするには、[コンプライアンス セキュリティ プロファイルを 有効にする] の横にあるチェック ボックスをオンにします。 ドロップダウンで、1 つ以上のコンプライアンス標準を選択するか、[ なし] を選択します。 ドロップダウンリストには、ワークスペース リージョンで使用できるコンプライアンス標準が一覧表示されます。
コンプライアンス セキュリティ プロファイルを有効にした場合、またはコンプライアンス標準を追加した場合、それらの選択はそのワークスペースに対して永続的に適用されます。
拡張セキュリティ監視を有効にするには、[セキュリティ強化の 監視を有効にする] チェック ボックスをオンにします。
クラスターの自動更新を有効にするには、[クラスターの 自動更新を有効にする] チェック ボックスをオンにします。
メンテナンス期間とその頻度を構成するには、クラスターの自動更新に関する記事を参照してください。
Azure CLI を使用する
Azure CLI を使用して、セキュリティとコンプライアンス機能が強化されたワークスペースを作成できます。 考えられるコンプライアンス標準には、 HIPAA、 PCI_DSS、 HITRUST、 IRAP_PROTECTED、 UK_CYBER_ESSENTIALS_PLUS、 CANADA_PROTECTED_B、 NONEなどがあります。 複数のコンプライアンス標準を選択できます。 例えば次が挙げられます。
az databricks workspace create --resource-group MyResourceGroup --name MyWorkspace --___location westus --sku premium --enable-compliance-security-profile --compliance-standards='["HIPAA"]' --enable-automatic-cluster-update --enable-enhanced-security-monitoring
PowerShell を使用する
PowerShell を使用して、セキュリティとコンプライアンス機能を強化したワークスペースを作成できます。 考えられるコンプライアンス標準には、 HIPAA、 PCI_DSS、 HITRUST、 IRAP_PROTECTED、 UK_CYBER_ESSENTIALS_PLUS、 CANADA_PROTECTED_B、 NONEなどがあります。 複数のコンプライアンス標準を選択できます。 例えば次が挙げられます。
New-AzDatabricksWorkspace -Name MyWorkspace -ResourceGroupName MyResourceGroup -Location westus -Sku "Premium" -EnhancedSecurityMonitoring 'Enabled' -AutomaticClusterUpdate 'Enabled' -EnhancedSecurityCompliance 'Enabled' -ComplianceStandard @("HIPAA","PCI_DSS")
ARM テンプレートを使用する
Enhanced Security and Compliance アドオン機能は、Databricks が提供する ARM テンプレートを使用して構成できます。 これには、Enabled または Disabled に設定できる追加のパラメーターが含まれています。 これらを既存のテンプレートに追加してワークスペースを更新したい場合は、そうすることができます。 次に示す場合を除き、機能を個別に設定できます。
-
complianceSecurityProfile: コンプライアンス セキュリティ プロファイルを有効にする この機能を有効にすると、ワークスペース上で永続的に有効になります。 -
complianceStandards: コンプライアンス セキュリティ プロファイルで使う一連のコンプライアンス標準を構成します。-
complianceSecurityProfileがDisabledに設定されている場合は、空の配列を渡します。 -
complianceSecurityProfileがEnabledに設定されている場合は、ワークスペースに必要なコンプライアンス標準 (存在する場合) を指定する 1 つ以上の文字列の配列を渡す必要があります。 選択できる選択肢は、HIPAA、PCI_DSS、HITRUST、IRAP_PROTECTED、UK_CYBER_ESSENTIALS_PLUS、CANADA_PROTECTED_B、またはNONEです。 コンプライアンス セキュリティ プロファイルをセキュリティ上の利点のみを目的として使い、規制されたデータを処理するためには使わない場合は、1 つの配列要素NONEを追加します。
-
-
enhancedSecurityMonitoring- 拡張セキュリティ監視を有効にします。 コンプライアンス セキュリティ プロファイルが有効になっている場合は、テンプレートでこの機能を明示的にEnabledにする必要があります。 -
automaticClusterUpdate- 自動クラスター更新を有効にします。 コンプライアンス セキュリティ プロファイルが有効になっている場合は、テンプレートでこの機能を明示的にEnabledにする必要があります。 メンテナンス期間とその頻度を構成するには、「クラスターの 自動更新」を参照してください。
これらの機能の 1 つ以上でワークスペースを更新するには、テンプレートを使って新しいワークスペースを作成する場合と同じ手順に従って、カスタム テンプレートをデプロイします。 ただし、元のテンプレートを使っていることを確認してから、用意されているサンプル テンプレートのフィールドを既存のワークスペース テンプレートにコピーしてください。
セキュリティとコンプライアンス機能が強化されたワークスペース テンプレート
{
"$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
"contentVersion": "1.0.0.0",
"parameters": {
"disablePublicIp": {
"type": "bool",
"defaultValue": false,
"metadata": {
"description": "Specifies whether to deploy Azure Databricks workspace with secure cluster connectivity (No Public IP) enabled."
}
},
"workspaceName": {
"type": "string",
"metadata": {
"description": "The name of the Azure Databricks workspace to create."
}
},
"pricingTier": {
"type": "string",
"defaultValue": "premium",
"allowedValues": ["standard", "premium"],
"metadata": {
"description": "The pricing tier of workspace."
}
},
"___location": {
"type": "string",
"defaultValue": "[resourceGroup().___location]",
"metadata": {
"description": "Location for all resources."
}
},
"automaticClusterUpdate": {
"type": "string",
"defaultValue": "Disabled",
"allowedValues": ["Disabled", "Enabled"],
"metadata": {
"description": "Enable/Disable automatic cluster update"
}
},
"enhancedSecurityMonitoring": {
"type": "string",
"defaultValue": "Disabled",
"allowedValues": ["Disabled", "Enabled"],
"metadata": {
"description": "Enable/Disable enhanced security monitoring"
}
},
"complianceSecurityProfile": {
"type": "string",
"defaultValue": "Disabled",
"allowedValues": ["Disabled", "Enabled"],
"metadata": {
"description": "Enable/Disable the Compliance Security Profile"
}
},
"complianceStandards": {
"type": "array",
"defaultValue": [],
"allowedValues": [
[],
["NONE"],
["HIPAA"],
["PCI_DSS"],
["HITRUST"],
["IRAP_PROTECTED"],
["UK_CYBER_ESSENTIALS_PLUS"],
["CANADA_PROTECTED_B"]
],
"metadata": {
"description": "Specify the desired compliance standards for your compliance security profile"
}
}
},
"variables": {
"managedResourceGroupName": "[format('databricks-rg-{0}-{1}', parameters('workspaceName'), uniqueString(parameters('workspaceName'), resourceGroup().id))]",
"trimmedMRGName": "[substring(variables('managedResourceGroupName'), 0, min(length(variables('managedResourceGroupName')), 90))]",
"managedResourceGroupId": "[format('{0}/resourceGroups/{1}', subscription().id, variables('trimmedMRGName'))]"
},
"resources": [
{
"type": "Microsoft.Databricks/workspaces",
"apiVersion": "2023-09-15-preview",
"name": "[parameters('workspaceName')]",
"___location": "[parameters('___location')]",
"sku": {
"name": "[parameters('pricingTier')]"
},
"properties": {
"managedResourceGroupId": "[variables('managedResourceGroupId')]",
"parameters": {
"enableNoPublicIp": {
"value": "[parameters('disablePublicIp')]"
}
},
"enhancedSecurityCompliance": {
"automaticClusterUpdate": {
"value": "[parameters('automaticClusterUpdate')]"
},
"complianceSecurityProfile": {
"value": "[parameters('complianceSecurityProfile')]",
"complianceStandards": "[parameters('complianceStandards')]"
},
"enhancedSecurityMonitoring": {
"value": "[parameters('enhancedSecurityMonitoring')]"
}
}
}
}
],
"outputs": {
"workspace": {
"type": "object",
"value": "[reference(resourceId('Microsoft.Databricks/workspaces', parameters('workspaceName')), '2023-09-15-preview', 'full')]"
}
}
}
Terraform を使用する
また、Databricks 用の azurerm Terraform プラグインを使用して、Azure Databricks ワークスペースでセキュリティとコンプライアンスの強化を有効にすることもできます。
azurerm Terraform プラグインの詳細については、azurerm_databricks_workspaceを参照してください。
たとえば、コンプライアンス コントロールが有効な Azure Databricks ワークスペースを作成するには、次のコマンドを使用します。
resource "azurerm_databricks_workspace" "this" {
name = "${local.prefix}-workspace"
resource_group_name = azurerm_resource_group.this.name
___location = azurerm_resource_group.this.___location
sku = "premium"
managed_resource_group_name = "${local.prefix}-workspace-rg"
tags = local.tags
enhanced_security_compliance {
automatic_cluster_update_enabled = true
compliance_security_profile_enabled = true
compliance_security_profile_standards = ["HIPAA", "PCI_DSS", "HITRUST", "IRAP_PROTECTED", "UK_CYBER_ESSENTIALS_PLUS", "CANADA_PROTECTED_B", "NONE"]
enhanced_security_monitoring_enabled = true
}
}
ワークスペースに対してコンプライアンス セキュリティ プロファイルが有効になっていることを確認する
アカウント コンソールのワークスペース ページの [ セキュリティとコンプライアンス ] タブで、ワークスペースがコンプライアンス セキュリティ プロファイルを使用されていることを確認できます。
ワークスペースには、ワークスペース UI にシールド ロゴも表示されます。 ページの右上にあるワークスペース名の右側に、シールド ロゴが表示されます。 ワークスペース名をクリックすると、アクセスできるワークスペースの一覧が表示されます。 コンプライアンス セキュリティ プロファイルを有効にするワークスペースには、シールド アイコンがあります。
ワークスペースから
コンプライアンス セキュリティ プロファイルが有効になっているワークスペースにシールド アイコンがない場合は、Azure Databricks アカウント チームにお問い合わせください。