다음을 통해 공유

서버리스 컴퓨팅 액세스를 위한 방화벽 구성

이 페이지에서는 Azure Databricks 계정 콘솔 UI를 사용하여 서버리스 컴퓨팅에 대한 Azure Storage 방화벽을 구성하는 방법을 설명합니다. 네트워크 연결 구성 API를 사용할 수도 있습니다.

서버리스 컴퓨팅 액세스에 대한 프라이빗 엔드포인트를 구성하려면 Azure 리소스에 대한 프라이빗 연결 구성을 참조하세요.

비고

Azure Databricks는 서버리스 워크로드가 고객 리소스에 연결할 때 네트워킹 비용을 청구합니다. Databricks 서버리스 네트워킹 비용 이해 참조

서버리스 컴퓨팅에 대한 방화벽 사용 개요

서버리스 네트워크 연결은 NCC(네트워크 연결 구성)로 관리됩니다. 계정 관리자는 계정 콘솔에서 NCC를 만들고 NCC를 하나 이상의 작업 영역에 연결할 수 있습니다. NCC는 프라이빗 엔드포인트 만들기 및 방화벽 사용을 대규모로 관리하는 데 사용되는 계정 수준 지역 구문입니다.

NCC는 Azure 리소스에 대한 네트워크 ID를 기본 규칙으로 정의합니다. NCC가 작업 영역에 연결되면 해당 작업 영역의 서버리스 컴퓨팅은 해당 네트워크 중 하나를 사용하여 Azure 리소스에 연결합니다. Azure 리소스 방화벽에서 이러한 네트워크를 허용 목록에 추가할 수 있습니다. 스토리지가 아닌 Azure 리소스 방화벽의 경우 계정 팀에 문의하여 안정적인 NAT IP 사용에 대해 알아보세요.

NCC 방화벽 사용은 서버리스 SQL 웨어하우스, 작업, Notebook, Lakeflow Spark 선언적 파이프라인 및 엔드포인트를 제공하는 모델에서 지원됩니다.

서버리스 컴퓨팅을 포함하여 권한 있는 네트워크에 대한 작업 영역 스토리지 계정 액세스를 제한할 수도 있습니다. NCC가 연결되면 네트워크 규칙이 작업 영역 스토리지 계정에 자동으로 추가됩니다. 작업 영역 스토리지 계정에 대한 방화벽 지원 사용을 참조하세요.

NCC에 대한 자세한 내용은 NCC(네트워크 연결 구성)란?을 참조하세요.

지역 간 스토리지 액세스의 비용 영향

방화벽은 Azure 리소스가 Azure Databricks 작업 영역과 동일한 지역에 있는 경우에만 적용됩니다. Azure Databricks 서버리스 컴퓨팅의 지역 간 트래픽(예: 작업 영역은 미국 동부 지역에 있고 ADLS 스토리지는 서유럽에 있음)의 경우 Azure Databricks는 Azure NAT 게이트웨이 서비스를 통해 트래픽을 라우팅합니다.

요구 사항

  • Azure Databricks 계정 관리자여야 합니다.
  • 각 NCC는 최대 50개의 작업 영역에 연결할 수 있습니다.
  • 각 Azure Databricks 계정에는 지원되는 지역당 최대 10개의 NCC가 있을 수 있습니다. NCC는 구성당 고유 IP 블록이 아닌 공유 안정적인 IP CIDR 블록을 제공하며, 이러한 IP 범위는 지역별로 다릅니다. 지원되는 지역 목록은 Azure Databricks 지역을 참조하세요.
  • Azure Storage 계정의 네트워크 규칙에 액세스할 수 있어야 합니다 WRITE .

1단계: 네트워크 연결 구성 만들기 및 서브넷 ID 복사

Databricks는 동일한 사업부의 작업 영역과 동일한 지역 및 연결 속성을 공유하는 작업 영역 간에 NCC를 공유하는 것이 좋습니다. 예를 들어 일부 작업 영역에서 스토리지 방화벽을 사용하고 다른 작업 영역이 Private Link의 대체 방법을 사용하는 경우 이러한 사용 사례에 대해 별도의 NCC를 사용합니다.

  1. 계정 관리자 권한으로 계정 콘솔로 이동합니다.
  2. 사이드바에서 보안을 클릭합니다.
  3. 네트워크 연결 구성을 클릭합니다.
  4. 네트워크 구성 추가를 클릭합니다.
  5. NCC의 이름을 입력합니다.
  6. 지역을 선택합니다. 이는 작업 영역 지역과 일치해야 합니다.
  7. 추가를 클릭합니다.
  8. NCC 목록에서 새 NCC를 클릭합니다.
  9. 네트워크 ID 아래의 기본 규칙에서 모두 보기를 클릭합니다.
  10. 대화 상자에서 서브넷 복사 단추를 클릭합니다.

2단계: 작업 영역에 NCC 연결

NCC와 동일한 지역에 있는 최대 50개의 작업 영역에 NCC를 연결할 수 있습니다.

API를 사용하여 NCC를 작업 영역에 연결하려면 계정 작업 영역 API를 참조하세요.

  1. 계정 콘솔 사이드바에서 작업 영역을 클릭합니다.
  2. 작업 영역의 이름을 클릭합니다.
  3. 작업 영역 업데이트를 클릭합니다.
  4. 네트워크 연결 구성 필드에서 NCC를 선택합니다. 표시되지 않는 경우 작업 영역과 NCC 모두에 대해 동일한 지역을 선택했는지 확인합니다.
  5. 업데이트를 클릭합니다.
  6. 변경 내용이 적용될 때까지 10분 정도 기다립니다.
  7. 작업 영역에서 실행 중인 서버리스 컴퓨팅 리소스를 다시 시작합니다.

이 기능을 사용하여 작업 영역 스토리지 계정에 연결하는 경우 구성이 완료됩니다. 네트워크 규칙은 작업 영역 스토리지 계정에 자동으로 추가됩니다. 추가 스토리지 계정의 경우 다음 단계를 계속 진행합니다.

3단계: 스토리지 계정 잠금

Azure Storage 계정에 대한 액세스를 허용 목록에 있는 네트워크로만 제한하지 않은 경우 지금 이 작업을 수행합니다. 작업 영역 스토리지 계정에 대해 이 단계를 수행할 필요가 없습니다.

스토리지 방화벽을 만들면 클래식 컴퓨팅 평면에서 리소스로의 연결에도 영향을 줍니다. 또한 클래식 컴퓨팅 리소스에서 스토리지 계정에 연결하는 네트워크 규칙을 추가해야 합니다.

  1. Azure Portal로 이동합니다.
  2. 데이터 원본에 대한 스토리지 계정으로 이동합니다.
  3. 왼쪽 탐색 창에서 네트워킹을 클릭합니다.
  4. 공용 네트워크 액세스 필드에서 값을 확인합니다. 기본적으로 이 값은 모든 네트워크에서 사용하도록 설정됩니다. 선택한 가상 네트워크 및 IP 주소에서 사용으로 변경합니다.

4단계: Azure Storage 계정 네트워크 규칙 추가

작업 영역 스토리지 계정에 대해 이 단계를 수행할 필요가 없습니다.

  1. 텍스트 편집기에서 다음 스크립트를 복사하여 붙여넣고 매개 변수를 Azure 계정의 값으로 바꿉다.

    # Define parameters

$subscription = `<YOUR_SUBSCRIPTION_ID>` # Replace with your Azure subscription ID or name
$resourceGroup = `<YOUR_RESOURCE_GROUP>` # Replace with your Azure resource group name
$accountName = `<YOUR_STORAGE_ACCOUNT_NAME>` # Replace with your Azure storage account name
$subnets = `<SUBNET_NAME_1>` # Replace with your actual subnet names

# Add network rules for each subnet
foreach ($subnet in $subnets) {
   az storage account network-rule add --subscription $subscription `
      --resource-group $resourceGroup `
      --account-name $accountName `
      --subnet $subnet
}

  2. Azure Cloud Shell을 시작합니다.

  3. Azure Cloud Shell에서 편집기를 사용하여 확장으로 끝나는 새 파일을 만듭니다 .ps1 .

    vi ncc.ps1

  4. 1단계의 스크립트를 편집기에 붙여넣은 다음, 누르 Esc고, 입력 :wq하고, 누릅니다 Enter.

  5. 다음 명령을 실행하여 스크립트를 실행합니다.

    ./ncc.ps1

  6. 모든 명령을 실행한 후 Azure Portal을 사용하여 스토리지 계정을 보고 새 서브넷을 나타내는 Virtual Networks 테이블에 항목이 있는지 확인할 수 있습니다.

    팁

    • 스토리지 계정 네트워크 규칙을 추가할 때 네트워크 연결 API 를 사용하여 최신 서브넷을 검색합니다.
    • NCC 정보를 로컬로 저장하지 않습니다.
    • 엔드포인트 상태 열의 "권한 부족" 및 네트워크 목록 아래에 표시된 경고를 무시하세요. 이는 Azure Databricks 서브넷을 읽을 수 있는 권한이 없다는 것을 나타낼 뿐이며, Azure Databricks 서버리스 서브넷이 Azure Storage에 연결하는 기능을 방해하지는 않습니다.

    Virtual Networks 목록의 새 항목 예제

  7. 스토리지 계정이 Azure Portal에서 이러한 설정을 사용하는지 확인하려면 스토리지 계정의 네트워킹 으로 이동합니다. 선택한 가상 네트워크 및 IP 주소에서공용 네트워크 액세스가 사용으로 설정되고 허용된 네트워크가 Virtual Networks 섹션에 나열되어 있는지 확인합니다.

다음은?

  • 프라이빗 엔드포인트 규칙 관리: 연결을 허용하거나 거부하는 특정 규칙을 정의하여 프라이빗 엔드포인트 간 네트워크 트래픽을 제어합니다. 비공개 엔드포인트 규칙 관리를 참조하세요.
  • 네트워크 정책 구성: 서버리스 컴퓨팅 환경에 대한 추가 보안 제어 및 액세스 제한을 제공하는 네트워크 정책을 구현합니다. 서버리스 송신 제어란 무엇입니까?을 참조하세요.
  • 데이터 전송 및 연결 비용 이해: 서버리스 환경 및 네트워크 연결 구성으로 데이터를 이동하는 것과 관련된 비용에 대해 알아봅니다. Databricks 서버리스 네트워킹 비용 이해 참조
  • Last updated on