Condividi tramite

Abilitare la connettività sicura del cluster

Questo articolo illustra come usare la connettività sicura del cluster per le aree di lavoro di Azure Databricks. La connettività sicura del cluster è nota anche come nessun indirizzo IP pubblico (NPIP). Le risorse di calcolo serverless non usano la connettività sicura del cluster, ma non dispongono anche di indirizzi IP pubblici.

Panoramica della connettività del cluster sicuro

Quando la connettività sicura del cluster è abilitata, le reti virtuali dei clienti non hanno porte aperte e risorse di calcolo nel piano di calcolo classico non hanno indirizzi IP pubblici.

  • Durante la creazione del cluster, ogni cluster avvia una connessione al relay di connettività sicura del piano di controllo. Il cluster stabilisce questa connessione usando la porta 443 (HTTPS) e usa un indirizzo IP diverso rispetto a quello usato per l'applicazione Web e l'API REST.
  • Quando il piano di controllo esegue attività di amministrazione del cluster, queste richieste vengono inviate al cluster tramite questo tunnel.

Annotazioni

Tutto il traffico di rete di Azure Databricks tra la VNet del piano di calcolo classico e il piano di controllo di Azure Databricks passa attraverso il backbone di rete Microsoft , non la rete Internet pubblica. Questo vale anche se la connettività sicura del cluster è disabilitata.

È possibile abilitare la connettività sicura del cluster su una nuova area di lavoro o aggiungerla a un'area di lavoro esistente che usa già l'inserimento della rete virtuale.

Abilitare la connettività sicura del cluster in una nuova area di lavoro

La connettività sicura del cluster viene abilitata automaticamente quando si crea un'area di lavoro usando il portale di Azure o un modello di Azure Resource Manager (ARM).

  • Portale di Azure: quando si effettua il provisioning dell'area di lavoro, nella scheda Retedistribuire l'area di lavoro di Azure Databricks con connettività cluster sicura (nessun indirizzo IP pubblico) è impostato su Sì.

    Per istruzioni dettagliate sull'uso del portale di Azure per creare un'area di lavoro, vedere Usare il portale per creare un'area di lavoro di Azure Databricks.

  • Modello ARM: nella versione 2024-05-01 e successive, il parametro enableNoPublicIp all'interno della risorsa Microsoft.Databricks/workspaces è impostato su true per impostazione predefinita. Se il enableNoPublicIp parametro non è incluso in modo esplicito nel modello, si comporta come se fosse impostato su true. È possibile modificare esplicitamente questa impostazione predefinita impostando enableNoPublicIp su false nel vostro modello.

    Per istruzioni dettagliate sull'uso di un modello di Resource Manager per creare un'area di lavoro, vedere Distribuire un'area di lavoro con un modello di Resource Manager. Per i modelli ARM che utilizzano VNet Injection, vedere Distribuire Azure Databricks nella rete virtuale di Azure (VNet injection).

Aggiungere la connettività sicura del cluster a un'area di lavoro esistente

È possibile abilitare la connettività sicura del cluster in un'area di lavoro esistente utilizzando il portale di Azure, un modello di Azure Resource Manager o azurerm provider Terraform versione 3.41.0+. L'aggiornamento richiede che l'area di lavoro utilizzi VNet Injection.

Importante

Se si usa un firewall o altre configurazioni di rete per controllare l'ingresso o l'uscita dal piano di calcolo classico, potrebbe essere necessario aggiornare le regole del firewall o del gruppo di sicurezza di rete quando si abilita la connettività sicura del cluster per rendere effettive le modifiche. Ad esempio, usando la connettività sicura del cluster, è presente una connessione in uscita aggiuntiva al piano di controllo e le connessioni in ingresso dal piano di controllo non vengono più usate.

Passaggio 1: Arrestare tutte le risorse di calcolo

Arrestare tutte le risorse di calcolo classiche, ad esempio cluster, pool o data warehouse SQL classici. Databricks consiglia di pianificare l'aggiornamento affinché coincida con i tempi di inattività.

Passaggio 2: Aggiornare l'area di lavoro

È possibile aggiornare l'area di lavoro usando il portale di Azure, un modello di Resource Manager o Terraform.

Usare il portale di Azure

  1. Vai all'area di lavoro di Azure Databricks nel portale di Azure.
  2. Nel riquadro di spostamento a sinistra in Impostazioni fare clic su Rete.
  3. Nella scheda accesso alla rete impostare Deploy Azure Databricks workspace with Secure Cluster Connectivity (No Public IP) (Distribuire l'area di lavoro di Azure Databricks con connettività cluster sicura (nessun indirizzo IP pubblico) su Abilitato.
  4. Fare clic su Salva.

Il completamento dell'aggiornamento di rete potrebbe richiedere più di 15 minuti.

Applicare un modello di Resource Manager aggiornato usando portale di Azure

Usare un Modello ARM per impostare il parametro enableNoPublicIp su True (true).

Annotazioni

Se il gruppo di risorse gestite ha un nome personalizzato, è necessario modificare di conseguenza il modello. Per maggiori informazioni, contattare il team dell'account di Azure Databricks.

  1. Copiare il codice JSON del modello arm di aggiornamento seguente:

    {
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
  "contentVersion": "1.0.0.0",
  "parameters": {
    "___location": {
      "defaultValue": "[resourceGroup().___location]",
      "type": "String",
      "metadata": {
        "description": "Location for all resources."
      }
    },
    "workspaceName": {
      "type": "String",
      "metadata": {
        "description": "The name of the Azure Databricks workspace to create."
      }
    },
    "apiVersion": {
      "defaultValue": "2023-02-01",
      "allowedValues": ["2018-04-01", "2020-02-15", "2022-04-01-preview", "2023-02-01"],
      "type": "String",
      "metadata": {
        "description": "2018-03-15 for 'full region isolation control plane' and 2020-02-15 for 'FedRAMP certified' regions"
      }
    },
    "enableNoPublicIp": {
      "defaultValue": true,
      "type": "Bool"
    },
    "pricingTier": {
      "defaultValue": "premium",
      "allowedValues": ["premium", "standard", "trial"],
      "type": "String",
      "metadata": {
        "description": "The pricing tier of workspace."
      }
    },
    "publicNetworkAccess": {
      "type": "string",
      "defaultValue": "Enabled",
      "allowedValues": ["Enabled", "Disabled"],
      "metadata": {
        "description": "Indicates whether public network access is allowed to the workspace - possible values are Enabled or Disabled."
      }
    },
    "requiredNsgRules": {
      "type": "string",
      "defaultValue": "AllRules",
      "allowedValues": ["AllRules", "NoAzureDatabricksRules"],
      "metadata": {
        "description": "Indicates whether to retain or remove the AzureDatabricks outbound NSG rule - possible values are AllRules or NoAzureDatabricksRules."
      }
    }
  },
  "variables": {
    "managedResourceGroupName": "[concat('databricks-rg-', parameters('workspaceName'), '-', uniqueString(parameters('workspaceName'), resourceGroup().id))]",
    "managedResourceGroupId": "[subscriptionResourceId('Microsoft.Resources/resourceGroups', variables('managedResourceGroupName'))]"
  },
  "resources": [
    {
      "type": "Microsoft.Databricks/workspaces",
      "apiVersion": "[parameters('apiVersion')]",
      "name": "[parameters('workspaceName')]",
      "___location": "[parameters('___location')]",
      "sku": {
        "name": "[parameters('pricingTier')]"
      },
      "properties": {
        "ManagedResourceGroupId": "[variables('managedResourceGroupId')]",
        "publicNetworkAccess": "[parameters('publicNetworkAccess')]",
        "requiredNsgRules": "[parameters('requiredNsgRules')]",
        "parameters": {
          "enableNoPublicIp": {
            "value": "[parameters('enableNoPublicIp')]"
          }
        }
      }
    }
  ]
}

    1. Passare alla pagina di distribuzione portale di Azure personalizzata.

    2. Fare clic su Creare un modello personalizzato nell'editor.

    3. Incollare il codice JSON per il modello copiato.

    4. Fare clic su Salva.

    5. Compila i parametri.

    6. Per aggiornare un'area di lavoro esistente, usare gli stessi parametri usati per creare l'area di lavoro, ad eccezione enableNoPublicIpdi , che è necessario impostare su true. Impostare la sottoscrizione, l'area, il nome dell'area di lavoro, i nomi delle subnet e l'ID risorsa della rete virtuale esistente.

      Importante

      Il nome del gruppo di risorse, il nome dell'area di lavoro e i nomi delle subnet sono identici all'area di lavoro esistente, in modo che questo comando aggiorni l'area di lavoro esistente anziché creare una nuova area di lavoro.

    7. Fare clic su Verifica e crea.

    8. Se non sono presenti problemi di convalida, fare clic su Crea.

    Il completamento dell'aggiornamento di rete potrebbe richiedere più di 15 minuti.

Applicare un aggiornamento con Terraform

Per le aree di lavoro create con Terraform, è possibile aggiornare l'area di lavoro senza ricrearla.

Importante

È necessario usare terraform-provider-azurerm la versione 3.41.0 o successiva, quindi aggiornare la versione del provider Terraform in base alle esigenze. Le versioni precedenti tentano di ricreare l'area di lavoro se si modifica una di queste impostazioni.

Modificare le impostazioni dell'area di lavoro seguenti:

  • no_public_ip nel custom_parameters blocco può essere modificato da false a true.

Il completamento dell'aggiornamento di rete potrebbe richiedere più di 15 minuti.

Passaggio 3: Convalidare l'aggiornamento

Una volta che l'area di lavoro è in stato attivo, il processo di aggiornamento viene completato. Verificare che l'aggiornamento sia stato applicato:

  1. Aprire Azure Databricks nel Web browser.

  2. Avviare uno dei cluster dell'area di lavoro e attendere l'avvio completo del cluster.

  3. Vai all'istanza dell'area di lavoro nel portale di Azure.

  4. Fare clic sull'ID blu accanto all'etichetta del campo Gruppo di risorse gestite.

  5. In tale gruppo trovare le macchine virtuali per il cluster e fare clic su una di esse.

  6. Nelle impostazioni della macchina virtuale, all'interno di Proprietà, cercare i campi nell'area Rete .

  7. Verificare che il campo Indirizzo IP pubblico sia vuoto.

    Se viene popolato, la macchina virtuale ha un indirizzo IP pubblico, il che significa che l'aggiornamento non è riuscito.

Annullamento temporaneo dell'aggiornamento alla connettività sicura del cluster

Se si verifica un errore durante la distribuzione, è possibile annullare temporaneamente il processo impostando su enableNoPublicIpfalse. Tuttavia, la disabilitazione della connettività sicura del cluster è supportata solo come rollback temporaneo prima di continuare l'aggiornamento in un secondo momento. Se questa operazione è necessaria temporaneamente, è possibile seguire le istruzioni precedenti per l'aggiornamento, ma impostare enableNoPublicIp su false anziché su true.

Uscita dalle sottoreti dell'area di lavoro

Quando si abilita la connettività sicura del cluster, entrambe le subnet dell'area di lavoro sono subnet private perché i nodi del cluster non hanno indirizzi IP pubblici.

I dettagli di implementazione dell'uscita di rete variano a seconda che si usi la rete virtuale predefinita (gestita) o se si usa l'inserimento della rete virtuale per fornire la propria rete virtuale in cui distribuire l'area di lavoro.

Importante

Potrebbero essere addebitati costi aggiuntivi a causa di un aumento del traffico in uscita quando si usa la connettività sicura del cluster. Per la distribuzione più sicura, Microsoft e Databricks consigliano vivamente di abilitare la connettività sicura del cluster.

Uscita con rete virtuale predefinita (gestita)

Se si usa la connettività sicura del cluster con la rete virtuale predefinita creata da Azure Databricks, Azure Databricks crea automaticamente un gateway NAT per il traffico in uscita dalle subnet dell'area di lavoro alla rete backbone e pubblica di Azure. Il gateway NAT viene creato all'interno del gruppo di risorse gestito gestito da Azure Databricks. Non è possibile modificare il gruppo di risorse o le risorse di cui è stato effettuato il provisioning. Questo gateway NAT comporta costi aggiuntivi.

Uscita con iniezione VNet

Se si abilita la connettività sicura del cluster nell'area di lavoro che utilizza l'inserimento della rete virtuale, Databricks consiglia che l'area di lavoro disponga di un IP pubblico stabile per l'uscita. Gli indirizzi IP pubblici in uscita stabili sono utili perché è possibile aggiungerli a elenchi di indirizzi consentiti esterni. Ad esempio, per connettersi da Azure Databricks a Salesforce con un indirizzo IP in uscita stabile.

Avvertimento

Microsoft ha annunciato che dopo il 31 marzo 2026, per impostazione predefinita le nuove reti virtuali saranno configurazioni private senza accesso a Internet in uscita. Ciò richiede metodi espliciti di connettività in uscita per raggiungere gli endpoint pubblici e i servizi Microsoft. Per altri dettagli, vedere questo annuncio . Questa modifica non influisce sulle aree di lavoro esistenti. Tuttavia, le nuove aree di lavoro di Azure Databricks distribuite dopo questa data richiederanno un metodo in uscita sicuro, ad esempio un gateway NAT, per garantire una funzionalità del cluster appropriata.

Per fornire connettività Internet per le distribuzioni, usare un gateway NAT di Azure. Configurare il gateway in entrambe le subnet dell'area di lavoro per garantire che tutto il traffico in uscita venga instradato attraverso di esso con un indirizzo IP pubblico per uscita stabile. Ciò offre connettività Internet in uscita coerente per i cluster e consente di modificare la configurazione per esigenze in uscita personalizzate. È possibile configurare il gateway NAT usando un modello di Azure o dal portale di Azure.

Avvertimento

Non usare un servizio di bilanciamento del carico in uscita con un'area di lavoro con connettività cluster sicura abilitata. Nei sistemi di produzione, un servizio di bilanciamento del carico in uscita può causare il rischio di esaurimento delle porte.

Procedure consigliate per la configurazione del firewall

Metti sempre nella lista di autorizzazione i nomi di dominio forniti (FQDN) per gli endpoint di inoltro SCC anziché i singoli indirizzi IP. Gli indirizzi IP dietro questi domini cambiano periodicamente a causa di aggiornamenti dell'infrastruttura.

I clienti che consentono l'elenco di indirizzi IP specifici possono riscontrare interruzioni del servizio quando si verificano modifiche all'infrastruttura. Se è necessario usare gli indirizzi IP, è necessario recuperare regolarmente gli indirizzi IP più recenti e mantenere aggiornate le configurazioni del firewall.

  • Last updated on