다음을 통해 공유


프런트 엔드 프라이빗 링크 구성

이 페이지에서는 사용자와 해당 Azure Databricks 작업 영역 간의 연결을 보호하는 프런트 엔드 프라이빗 연결을 구성하기 위한 지침을 제공합니다.

프런트 엔드 연결을 선택하는 이유는 무엇인가요?

서버리스 또는 클래식 컴퓨팅을 사용하든 관계없이 사용자는 Azure Databricks에 연결해야 합니다. 조직은 다음을 비롯한 여러 가지 이유로 Azure Databricks에 연결하도록 선택합니다.

  • 향상된 보안: 프라이빗 엔드포인트에 대한 모든 액세스를 제한하고 공용 액세스를 사용하지 않도록 설정하면 공격 노출 영역을 최소화하고 안전한 프라이빗 네트워크를 통해 Azure Databricks와의 모든 사용자 상호 작용이 발생하는지 확인합니다.
  • 규정 준수 요구 사항: 많은 조직에는 Azure Databricks와 같은 SaaS 서비스에 대해서도 모든 데이터 및 관리 평면 트래픽이 프라이빗 네트워크 경계에 유지되어야 하는 엄격한 규정 준수 의무가 있습니다.
  • 간소화된 네트워크 아키텍처(특정 사용 사례의 경우): 서버리스 컴퓨팅만 사용하거나 Azure Databricks와의 기본 상호 작용이 웹 UI 또는 REST API를 통해 이루어지며, Azure Databricks(백 엔드 연결 필요)의 데이터 원본 대한 프라이빗 연결이 즉시 필요하지 않은 경우 프런트 엔드 전용 설정은 전체 네트워크 디자인을 간소화합니다.
  • 데이터 반출 방지: 공용 액세스를 방지하고 프라이빗 엔드포인트를 통해 모든 트래픽을 강제하여 데이터 반출 위험을 줄여 인증된 네트워크 환경에서만 트래픽에 액세스할 수 있도록 합니다.

연결 모델

다음 두 가지 방법 중 하나로 프라이빗 연결을 구성할 수 있습니다.

  • 공용 액세스 권한 없음: 이 구성은 작업 영역에 대한 모든 공용 액세스를 사용하지 않도록 설정합니다. 모든 사용자 트래픽은 프라이빗 엔드포인트를 통해 연결된 VNet에서 발생해야 합니다. 이 모델은 전체 트래픽 민영화에 필요합니다. 전체 트래픽 민영화의 경우 백 엔드 Private Link 연결도 필요합니다. Azure Private Link 개념을 참조하세요.
  • 하이브리드 액세스: Private Link는 활성 상태이지만 컨텍스트 기반 수신 컨트롤 및 IP 액세스 목록을 사용하여 공용 액세스를 사용하도록 설정된 상태로 유지됩니다. 컨텍스트 기반 수신 컨트롤을 사용하면 ID, 요청 유형 및 네트워크 원본에 따라 액세스를 제한할 수 있습니다. 이렇게 하면 프라이빗 연결에Private Link를 계속 사용하면서 신뢰할 수 있는 공용 원본(예: 정적 회사 IP)의 액세스를 안전하게 허용할 수 있습니다.

이 가이드에서는 하이브리드 액세스 모델을 구현하는 방법을 설명합니다. 표준 허브 및 스포크 네트워크 토폴로지로 이를 달성합니다.

아키텍처 개요

이 모델은 전송 VNet을 사용합니다.

  • Transit VNet: 작업 공간에 대한 클라이언트 액세스와 브라우저 인증에 필요한 모든 프라이빗 엔드포인트를 포함하는 중앙 가상 네트워크입니다. 브라우저 인증 작업 영역도 이 VNet에 연결됩니다.

Azure Private Link 네트워크 아키텍처.

시작하기 전 주의 사항:

다음 필수 구성 요소 및 권장 사항을 검토합니다.

요구 사항

네트워킹 구성

  • 다음을 위한 전달 VNet 구성:
    • Azure 네트워크에 연결하는 모든 사용자/클라이언트 트래픽의 기본 전송 지점 역할을 합니다.
    • 온-프레미스 또는 기타 외부 네트워크에 대한 중앙 집중식 연결을 제공합니다.
    • 공유 서비스를 관리하고 아웃바운드 인터넷 트래픽(송신)에 대한 기본 경로를 포함합니다.
  • 프라이빗 DNS 영역은 Azure DNS에서 관리됩니다.

모범 사례

Azure Databricks는 복원력 있고 관리하기 쉬운 설정을 위해 다음을 권장합니다.

기존 작업 영역에 대한 프라이빗 연결 구성

시작하기 전에 클러스터, 풀 또는 클래식 SQL 웨어하우스와 같은 모든 컴퓨팅 리소스를 중지해야 합니다. 작업 영역 컴퓨팅 리소스를 실행할 수 없거나 업그레이드 시도가 실패합니다. Azure Databricks는 가동 중지 시간에 대한 업그레이드 타이밍을 계획하는 것이 좋습니다.

  1. 작업 영역 페이지에서 컴퓨팅을 선택합니다.
  2. 각 활성 컴퓨팅 클러스터를 선택하고 오른쪽 위에서 종료를 클릭합니다.

1단계: 공용 액세스가 사용하도록 설정된 VNet 삽입 작업 영역 확인

  1. Azure Portal에서 Azure Databricks 작업 영역으로 이동합니다.
  2. 작업 영역 개요 섹션에서 Azure Databricks 작업 영역에서 사용자 고유의 가상 네트워크를 사용하는지 확인합니다.
    1. 설정에서 네트워킹 탭을 선택합니다. 다음 설정을 확인합니다.
      1. 보안 클러스터 연결(공용 IP 없음) 이 사용하도록 설정되어 있습니다.
      2. 공용 네트워크 액세스가 허용되었습니다.

2단계: 프라이빗 엔드포인트 만들기 databricks_ui_api

  1. 작업 영역의 네트워킹 탭에서 프라이빗 엔드포인트 연결을 선택합니다.
  2. 더하기 아이콘 을 클릭합니다.프라이빗 엔드포인트.
  3. 엔드포인트에 대한 리소스 그룹을 선택하고 다음과 같은 my-workspace-fe-pe이름을 제공합니다. 지역이 작업 영역과 일치하는지 확인합니다.
  4. 다음: 리소스를 클릭합니다.
  5. 대상 하위 리소스를databricks_ui_api로 설정합니다.
  6. 다음: Virtual Network를 클릭합니다.
  7. 전송 VNet을 선택합니다. 귀하의 전달 VNet은 네트워크 아키텍처의 별도이자 기존에 있는 VNet으로, 중앙 방화벽을 포함하여 출구 트래픽을 관리하고 보호합니다.
  8. 프라이빗 엔드포인트를 호스트하는 서브넷을 선택합니다.
  9. 다음을 클릭하고 프라이빗 DNS 영역과 통합로 설정되어 있는지 확인합니다. 영역이 privatelink.azuredatabricks.net 자동으로 선택됩니다.

참고

프라이빗 DNS 영역을 전송 VNet에 연결하고, 더 나은 조직을 위해 다른 프라이빗 DNS 영역과 별도의 리소스 그룹에 배치합니다.

3단계: 작업 영역 만들기 browser_authentication

브라우저 인증을 위한 프라이빗 엔드포인트를 만들어 프라이빗 네트워크 경로를 통해 SSO를 지원합니다. Azure Databricks는 전용 프라이빗 웹 인증 작업 영역에서 이 엔드포인트를 호스팅하는 것이 좋습니다.

리소스 그룹 만들기

  1. Azure Portal에서 리소스 그룹으로 이동하여 선택합니다.
  2. + 만들기를 클릭합니다.
  3. 리소스 그룹의 이름 (예: web-auth-rg-eastus.)을 제공합니다.
  4. 지역의 경우 프로덕션 Databricks 작업 영역이 배포된 동일한 Azure 지역을 선택합니다.
  5. 검토 + 만들기를 클릭한 다음 만들기를 클릭합니다.

VNet 만들기

  1. Azure Portal에서 가상 네트워크를 검색하여 선택합니다.
  2. + 만들기를 클릭합니다.
  3. 기본 사항 탭에서 방금 만든 리소스 그룹을 선택하고 VNet에 다음과 같은 설명web-auth-vnet-eastus 지정합니다.
  4. 지역이 리소스 그룹과 일치하는지 확인합니다.
  5. 예를 들어 10.20.0.0/16 탭에서 VNet의 IP 주소 공간을 정의합니다. 또한 초기 서브넷을 만들라는 메시지가 표시됩니다.
  6. 검토 + 만들기를 선택한 다음, 만들기를 선택합니다.

프라이빗 웹 인증 작업 영역 만들기 및 보호

  1. Azure Portal에서 Azure Databricks를 검색하고 선택합니다. + 만들기를 클릭합니다.
  2. 기본 사항 탭에서 다음을 구성합니다.
    1. 방금 만든 리소스 그룹을 선택합니다.
    2. 작업 영역에 다음과 같은 WEB_AUTH_DO_NOT_DELETE_<region>설명이 포함된 이름을 지정합니다.
    3. 리소스 그룹 및 VNet과 동일한 지역을 선택합니다.
  3. 다음:네트워킹을 클릭하고 다음을 구성합니다.
    1. 보안 클러스터 연결(공용 IP 없음)을 사용하여 Azure Databricks 작업 영역 배포: 예를 선택합니다.
    2. 사용자 고유의 VNet(Virtual Network)에 Azure Databricks 작업 영역 배포: 예를 선택합니다.
    3. Virtual Network: 방금 만든 VNet을 선택합니다. 서브넷 범위를 정의하라는 메시지가 표시됩니다.
    4. 공용 네트워크 액세스: 사용 안 함으로 선택합니다.
    5. 필수 NSG 규칙: NoAzureDatabricksRules를 선택합니다.
  4. 검토 + 만들기를 클릭한 다음 만들기를 클릭합니다.

작업 영역이 만들어지면 실수로 삭제되지 않도록 보호해야 합니다.

  1. Azure Portal에서 방금 만든 작업 영역으로 이동합니다.
  2. 설정으로 이동하여 잠금을 선택합니다.
  3. + 추가를 클릭합니다.
  4. 잠금 유형을삭제로 설정하고 설명이 포함된 잠금 이름을 제공합니다.
  5. OK를 클릭합니다.

참고

  • 이 작업 영역에서 클러스터, 작업과 같은 Databricks 워크로드를 실행하지 마세요.
  • 이외의 프라이빗 엔드포인트를 browser_authentication추가하지 마세요. 특히 이 작업 영역에 대한 엔드포인트를 databricks_ui_api 만들지 마세요.

browser_authentication 프라이빗 엔드포인트 만들기

작업 영역을 만든 후에는 프라이빗 엔드포인트를 browser_authentication 만들어 전송 VNet에 연결해야 합니다.

  1. 웹 인증 작업 영역의 네트워킹 탭에서 프라이빗 엔드포인트 연결을 선택합니다.
  2. 더하기 아이콘 을 클릭합니다.프라이빗 엔드포인트.
  3. 엔드포인트에 대한 리소스 그룹을 선택하고 다음과 같은 web-auth-browser-auth-pe이름을 제공합니다. 지역이 작업 영역과 일치하는지 확인합니다.
  4. 다음: 리소스를 클릭합니다.
  5. 대상 하위 리소스를browser_authentication로 설정합니다.
  6. 다음: Virtual Network를 클릭합니다.
  7. 2단계에서 사용한 엔드포인트와 동일한 트랜짓 VNet을 선택합니다. databricks_ui_api
  8. 프라이빗 엔드포인트를 호스트하는 서브넷을 선택합니다.
  9. 다음을 클릭하고 프라이빗 DNS 영역과 통합로 설정되어 있는지 확인합니다. 영역이 privatelink.azuredatabricks.net 자동으로 선택됩니다.
  10. 엔드포인트 만들기를 완료합니다.

4단계: DNS 구성 및 확인

프라이빗 엔드포인트를 배포한 후 DNS가 Azure Databricks URL을 새 개인 IP 주소로 올바르게 확인하는지 확인해야 합니다.

  1. 프라이빗 DNS 영역 레코드 확인:
    1. Azure Portal에서 이름이 인 privatelink.azuredatabricks.net 검색하고 이동합니다.
    2. 다음 A 레코드가 있는지 확인하고 엔드포인트의 개인 IP 주소를 가리킵니다.
      1. 작업 영역 UI/API 레코드:
        • 이름: 다음과 같은 고유한 작업 영역 ID adb-xxxxxxxxxxxxxxxx.x
        • : 프라이빗 엔드포인트의 databricks_ui_api 개인 IP 주소입니다.
      2. 브라우저 인증 레코드:
        • 이름: 다음과 같은 pl-auth.<your_region>설명이 포함된 이름을 선택합니다.
        • : 프라이빗 엔드포인트의 browser_authentication 개인 IP 주소입니다.

5단계: 프라이빗 네트워크 액세스 확인

프라이빗 네트워크 연결을 통해 작업 영역에 액세스할 수 있는지 확인합니다.

연결된 네트워크에서

온-프레미스 네트워크가 VPN 또는 ExpressRoute를 통해 Azure VNet에 이미 연결된 경우 테스트는 간단합니다.

  • 컴퓨터에서 웹 브라우저를 열고 Azure Databricks 작업 영역 URL로 직접 이동하여 로그인합니다. 로그인에 성공하면 프라이빗 연결이 작동하는지 확인합니다.

테스트 VM 사용

현재 위치에서 작업 영역 VNet에 액세스할 수 없는 경우 테스트할 임시 가상 머신("점프 상자")을 만듭니다.

  1. VM 만들기: Azure Portal에서 Windows 가상 머신을 만듭니다. 프런트 엔드 프라이빗 엔드포인트를 구성한 동일한 전송 VNet을 사용하여 서브넷에 배치합니다.
  2. VM에 연결: 원격 데스크톱 클라이언트를 사용하여 새 VM에 연결합니다.
  3. VM에서 테스트: VM에 연결한 후 웹 브라우저를 열고 Azure Portal로 이동하여 Azure Databricks 작업 영역을 찾습니다.
  4. 작업 영역 시작:작업 영역 시작을 클릭합니다. 로그인에 성공하면 프라이빗 VNet 내에서의 액세스가 제대로 작동하는지 확인합니다.

nslookup을 사용하여 DNS 확인

  1. VPN 또는 Azure ExpressRoute를 통해 구성된 VNet 내의 가상 머신 또는 온-프레미스 네트워크에 연결합니다. 컴퓨터에서 Azure의 프라이빗 DNS를 사용할 수 있어야 합니다.
  2. 명령 프롬프트 또는 터미널을 열고 DNS 확인을 확인하는 데 사용합니다 nslookup .
# Verify the workspace URL resolves to a private IP
nslookup adb-xxxxxxxxxxxxxxxx.x.azuredatabricks.net

# Expected output:
# Server:  <your-dns-server>
# Address: <your-dns-server-ip>
#
# Name:    adb-xxxxxxxxxxxxxxxx.x.privatelink.azuredatabricks.net
# Address: 10.10.1.4  <-- This should be the private IP of your 'databricks_ui_api' endpoint
# Aliases: adb-xxxxxxxxxxxxxxxx.x.azuredatabricks.net

사용자 지정 DNS 구성

사용자 고유의 사용자 지정 DNS에서 프라이빗 프런트 엔드 엔드포인트를 사용하는 경우 작업 영역 URL과 SSO(Single Sign-On) 인증 URL이 모두 프라이빗 엔드포인트의 IP 주소로 올바르게 확인되는지 확인해야 합니다.

가장 신뢰할 수 있는 방법은 모든 Databricks 도메인에 대한 쿼리를 Azure의 내부 DNS로 전달하도록 DNS 서버를 구성하는 것입니다.

  1. Azure DNS 서버에 다음 도메인에 대한 조건부 전달을 설정합니다.
    • *.azuredatabricks.net
    • *.privatelink.azuredatabricks.net
    • *.databricksapps.com
  2. VNet이 Azure 프라이빗 DNS 영역에 연결되어 있는지 확인합니다.

이를 통해 Azure는 SSO 및 작업 영역 URL을 포함하여 필요한 모든 호스트 이름을 프라이빗 엔드포인트의 IP 주소로 자동으로 확인할 수 있습니다.

대안: 수동 A 레코드

조건부 전달이 옵션이 아닌 경우 DNS A 레코드를 수동으로 만들어야 합니다.

  1. 작업 영역 URL:A 작업 영역별 URL(예: adb-1111111111111.15.azuredatabricks.net프라이빗 엔드포인트 IP 주소)을 매핑하는 레코드를 만듭니다.
  2. SSO 인증 URL:A 같은 지역 SSO URL westus.pl-auth.azuredatabricks.net동일한 프라이빗 엔드포인트 IP 주소에 매핑하는 레코드를 만듭니다.

일부 Azure 지역에서는 SSO에 여러 컨트롤 플레인 인스턴스를 사용합니다. 인증을 위해 여러 A 레코드를 만들어야 할 수 있습니다. 해당 지역의 전체 도메인 목록은 Azure Databricks 계정 팀에 문의하세요.

다음 단계