Usar identidades gerenciadas do Azure com o Azure Databricks

Esta página mostra como configurar e usar a autenticação de identidades gerenciadas do Azure para automatizar suas contas e workspaces do Azure Databricks.

O Azure gerencia automaticamente identidades na ID do Microsoft Entra para que os aplicativos se autentiquem com recursos que dão suporte à autenticação da ID do Microsoft Entra, incluindo contas e workspaces do Azure Databricks. Esse método de autenticação obtém tokens de ID do Microsoft Entra sem exigir que você gerencie credenciais.

Esta página explica como criar uma identidade gerenciada atribuída pelo usuário e atribuí-la à sua conta do Azure Databricks, ao workspace e à máquina virtual do Azure (VM do Azure). Em seguida, instale e configure a CLI do Databricks em sua VM do Azure para usar a autenticação de identidades gerenciadas do Azure e executar comandos para automatizar sua conta e workspace do Azure Databricks.

• Para obter mais informações sobre identidades gerenciadas, consulte O que são identidades gerenciadas para recursos do Azure?.
• Para obter mais informações sobre a autenticação de identidades gerenciadas do Azure para o Azure Databricks, consulte Authenticate with Azure managed identities.

Requisitos

• Permissões rbac do Azure para criar e atribuir identidades gerenciadas.
• Função de administrador de conta ou espaço de trabalho para designar identidades gerenciadas ao Azure Databricks. Consulte Atribuir funções de administrador de conta a um usuário e Atribuir a função de administrador do workspace a um usuário.
• Colaborador de Máquina Virtual e Operador de Identidade Gerenciada para criar uma VM do Azure e atribuir a identidade gerenciada a ela.

Etapa 1: Criar uma identidade gerenciada atribuída pelo usuário

Crie uma identidade gerenciada atribuída pelo usuário para recursos do Azure. O Azure dá suporte a identidades gerenciadas atribuídas pelo sistema e atribuídas pelo usuário. O Databricks recomenda o uso de identidades gerenciadas atribuídas pelo usuário para autenticação de identidades gerenciadas do Azure com o Azure Databricks.

Para criar uma identidade gerenciada atribuída pelo usuário, siga as instruções em Gerenciar identidades gerenciadas atribuídas pelo usuário usando o portal do Azure.

Depois de criar a identidade gerenciada, copie o valor da ID do cliente da página de visão geral da identidade gerenciada. Você precisará desse valor nas etapas 2, 3 e 7.

Etapa 2: Atribuir a identidade gerenciada à sua conta

Atribua sua identidade gerenciada à sua conta do Azure Databricks. O Databricks trata identidades gerenciadas como entidades de serviço. Se você não precisar de acesso no nível da conta, vá para a Etapa 3.

Siga as instruções em Adicionar entidades de serviço à sua conta. Escolha Microsoft Entra ID gerenciada e cole a ID do cliente da Etapa 1 como ID de aplicativo do Microsoft Entra.

Etapa 3: Atribuir a identidade gerenciada ao seu workspace

Atribua a identidade gerenciada ao workspace do Azure Databricks. O Databricks trata identidades gerenciadas como entidades de serviço. Siga as instruções em Atribuir um principal de serviço a um espaço de trabalho.

Ao adicionar o principal de serviço:

• Se o workspace estiver habilitado para federação de identidade: selecione o principal do serviço que você criou na Etapa 2.
• Se o workspace não estiver habilitado para federação de identidade: use a ID do Cliente da Etapa 1 como ApplicationId.

Etapa 4: Obter a ID do recurso do Azure para seu workspace

Obtenha a ID do recurso que o Azure atribui ao workspace do Azure Databricks. Você precisará desse valor na Etapa 7.

1. No workspace do Azure Databricks, clique em seu nome de usuário na barra superior e clique no Portal do Azure.

2. No painel lateral, na seção Configurações , clique em Propriedades.

3. Na seção Essentials , copie o valor da ID . Ela deve parecer com o seguinte:

   /subscriptions/<subscription-id>/resourceGroups/<resource-group-id>/providers/Microsoft.Databricks/workspaces/<workspace-id>
   

Etapa 5: Criar e fazer logon em uma VM do Azure

As VMs do Azure são um dos tipos de recurso que dão suporte a identidades gerenciadas. Você usará essa VM para executar a CLI do Databricks com autenticação de identidades gerenciadas.

Para criar e se conectar a uma VM do Ubuntu Server usando a autenticação SSH, siga as instruções no Início Rápido: Criar uma máquina virtual linux no portal do Azure.

Ao criar a VM:

• Use o Ubuntu Server 22.04 LTS como a imagem.
• Selecione a chave pública SSH como o tipo de autenticação.
• Observe o local do arquivo de chave privada baixado (.pem) e o endereço IP público da VM, pois você precisará que eles se conectem à VM.

Etapa 6: Atribuir a identidade gerenciada à VM do Azure

Associe sua identidade gerenciada à VM do Azure para que o Azure possa usá-la para autenticação. Consulte Atribuir uma identidade gerenciada atribuída pelo usuário a uma VM existente.

1. No portal do Azure, navegue até a página de configurações da VM do Azure e clique em Identidade na seção Configurações .
2. Na guia Atribuída ao usuário, clique + Adicionar.
3. Selecione a identidade gerenciada que você criou na Etapa 1 e clique em Adicionar.

Etapa 7: Configurar a autenticação

Instale e configure a CLI do Databricks em sua VM do Azure para usar a autenticação de identidades gerenciadas do Azure.

Instalar a CLI

Na sessão SSH na VM do Azure, instale a CLI do Databricks:

sudo apt install unzip
curl -fsSL https://raw.githubusercontent.com/databricks/setup-cli/main/install.sh | sudo sh

Verifique a instalação:

databricks -v

Adicionar perfis de configuração

Crie ou edite o .databrickscfg arquivo no diretório inicial (~/.databrickscfg) com o conteúdo a seguir. Consulte Perfis de configuração do Azure Databricks.

Substitua os seguintes valores:

• <account-console-url> com a URL do console da conta do Azure Databricks.
• <account-id> com sua ID da conta do Azure Databricks. Veja como localizar seu ID de conta.
• <azure-managed-identity-application-id> com o valor do Client ID para sua identidade gerenciada da Etapa 1.
• <workspace-url> com a URL por workspace, por exemplo https://adb-1234567890123456.7.azuredatabricks.net.
• <azure-workspace-resource-id> com a ID de recurso do Azure da Etapa 4.
• Opcionalmente, substitua os nomes AZURE_MI_ACCOUNT de perfil de configuração sugeridos e AZURE_MI_WORKSPACE por nomes diferentes.

Se você não precisar de operações no nível da conta, omita a [AZURE_MI_ACCOUNT] seção.

[AZURE_MI_ACCOUNT]
host            = <account-console-url>
account_id      = <account-id>
azure_client_id = <azure-managed-identity-application-id>
azure_use_msi   = true

[AZURE_MI_WORKSPACE]
host                        = <workspace-url>
azure_workspace_resource_id = <azure-workspace-resource-id>
azure_client_id             = <azure-managed-identity-application-id>
azure_use_msi               = true

Etapa 8: Testar a configuração

Teste a configuração executando comandos da CLI do Databricks de sua sessão SSH na VM do Azure.

Para testar o acesso no nível da conta (se você o configurou na Etapa 7):

databricks account users list -p AZURE_MI_ACCOUNT

Para testar o acesso no nível do workspace:

databricks users list -p AZURE_MI_WORKSPACE

Se você renomeou os perfis de configuração na Etapa 7, substitua AZURE_MI_ACCOUNT ou AZURE_MI_WORKSPACE por seus nomes personalizados.