Azure Private Link 개념

Azure Private Link는 Azure Databricks 작업 영역에 대한 프라이빗 보안 연결을 만들어 네트워크 트래픽이 공용 인터넷에 노출되지 않도록 합니다.

Private Link 연결에는 다음 세 가지 유형이 있습니다.

• 프런트 엔드(사용자-작업 영역): 웹앱, API 또는 BI 도구와 같은 사용자 및 해당 도구에서 Azure Databricks 작업 영역으로의 연결을 보호합니다.
• 백 엔드(컴퓨팅-제어 평면): Azure Databricks 클러스터에서 작동하는 데 필요한 핵심 Azure Databricks 서비스로의 연결을 보호합니다.
• 웹 인증: 개인 네트워크를 사용할 때 SSO(Single Sign-On)를 통해 웹앱에 사용자 로그인을 사용하도록 설정합니다. 프라이빗 환경에서 실패하는 Microsoft Entra ID의 인증 콜백을 처리하는 특수 프라이빗 엔드포인트를 만듭니다. 웹 인증은 프런트 엔드 프라이빗 연결에서만 필요합니다.

아키텍처 개요

이 문서에 설명된 아키텍처는 Azure Private Link에 대한 표준 구현 패턴을 나타냅니다. 최적의 구성은 전적으로 네트워크 토폴로지에 따라 달라지기 때문에 유니버설 솔루션이 아닌 기본 프레임워크로 사용됩니다. 이 모델을 조정해야 할 수 있는 주요 요인은 다음과 같습니다.

• 기존 허브 앤드 스포크 또는 중계 VNet 디자인.
• 사용자 지정 DNS 전달 및 확인 정책입니다.
• 특정 방화벽 및 NSG(네트워크 보안 그룹) 규칙
• 지역 간 또는 다중 클라우드 연결 요구 사항

필수 VNet들

프라이빗 연결은 두 개의 고유한 가상 네트워크를 사용합니다.

• Transit VNet: 이 가상 네트워크는 사용자 연결을 위한 중심 허브로 작동합니다. 작업 영역에 대한 클라이언트 액세스 및 브라우저 기반 SSO 인증에 필요한 프런트 엔드 프라이빗 엔드포인트가 포함되어 있습니다.
• 작업 영역 VNet: Azure Databricks 작업 영역 및 백 엔드 프라이빗 엔드포인트를 호스트하기 위해 특별히 만든 가상 네트워크입니다.

서브넷 할당 및 크기 조정

프라이빗 연결 및 배포를 지원하도록 각 VNet의 서브넷을 계획합니다.

• 트랜싯 VNet 서브넷:

  • 프라이빗 엔드포인트 서브넷: 모든 프런트 엔드 프라이빗 엔드포인트에 대한 IP 주소를 할당합니다.
  • 브라우저 인증 작업 영역 서브넷: 두 개의 전용 서브넷, 즉 호스트 또는 공용 서브넷과 컨테이너 또는 프라이빗 서브넷이 브라우저 인증 작업 영역을 배포하는 데 권장됩니다.

• 작업공간 VNet 서브넷:

  • 작업 영역 서브넷: Azure Databricks 작업 영역 배포 자체에는 호스트 또는 공용 서브넷과 컨테이너 또는 프라이빗 서브넷이라는 두 개의 서브넷이 필요합니다. 작업 영역 서브넷과 관련된 크기 조정 정보는 주소 공간 지침을 참조하세요.
  • 백 엔드 프라이빗 엔드포인트 서브넷: 백 엔드 프라이빗 연결을 위해 프라이빗 엔드포인트를 호스트하려면 추가 서브넷이 필요합니다.

크기 조정은 개별 구현 요구 사항에 따라 달라지지만 다음을 가이드로 사용할 수 있습니다.

Azure Databricks 프라이빗 엔드포인트

Azure Databricks는 두 가지 유형의 프라이빗 엔드포인트를 사용하여 트래픽을 완전히 민영화합니다. 다른 역할을 이해하여 올바르게 구현합니다.

• 작업 영역 엔드포인트(databricks_ui_api): 작업 영역 간 핵심 트래픽을 보호하기 위한 기본 프라이빗 엔드포인트입니다. 프런트 엔드와 백 엔드 모두에 대한 연결을 처리합니다.
• 웹 인증 엔드포인트(browser_authentication): 프라이빗 연결을 통해 웹 브라우저 로그인에 대해 SSO(Single Sign-On)가 작동하도록 하는 데만 필요한 특수한 추가 엔드포인트입니다. 프런트 엔드 및 엔드 투 엔드 연결에 필요합니다.

웹 인증 엔드포인트의 경우 다음 사항에 유의하세요.

• SSO 콜백 요구 사항: 클라이언트 액세스에 Private Link를 사용하는 경우 이 엔드포인트는 사용자 웹 로그인에 필수입니다. 그렇지 않으면 프라이빗 네트워크에서 차단되는 Microsoft Entra ID의 SSO 인증 콜백을 안전하게 처리합니다. 이 엔드포인트를 만들 때 Azure Databricks는 필요한 프라이빗 DNS 레코드를 자동으로 구성합니다. 이 프로세스는 REST API 인증에 영향을 주지 않습니다.
• 배포 규칙: Azure 지역 및 프라이빗 DNS 영역당 하나의 browser_authentication 엔드포인트만 존재할 수 있습니다. 이 단일 엔드포인트는 동일한 DNS 구성을 공유하는 해당 지역의 모든 작업 영역을 제공합니다.
• 프로덕션 모범 사례: 중단을 방지하려면 각 프로덕션 지역에 전용 "프라이빗 웹 인증 작업 영역"을 만듭니다. 유일한 목적은 이 중요한 엔드포인트를 호스트하는 것입니다. 이 작업 영역에 대해 "공용 네트워크 액세스"를 사용하지 않도록 설정하고 다른 프런트 엔드 프라이빗 엔드포인트가 만들어지지 않는지 확인합니다. 이 호스트 작업 영역을 삭제하면 해당 지역의 다른 모든 작업 영역에 대해 웹 로그인이 실패합니다.
• 대체 구성: 더 간단한 배포의 경우 전용 작업 영역을 만드는 대신 기존 작업 영역에서 엔드포인트를 호스트할 수 있습니다. 이는 비프로덕션 환경에 적합하거나 지역에 하나의 작업 영역만 있다고 확신하는 경우 적합합니다. 그러나 호스트 작업 영역을 삭제하면 해당 작업 영역에 의존하는 다른 작업 영역에 대한 인증이 즉시 중단됩니다.

프런트 엔드 프라이빗 연결

다음 다이어그램에서는 프런트 엔드 프라이빗 연결에 대한 네트워크 흐름을 보여 줍니다. 프런트 엔드 연결은 전송 VNet을 통해 databricks_ui_api 프라이빗 엔드포인트와 browser_authentication 프라이빗 엔드포인트를 사용하여 사용자 및 도구에서 Azure Databricks 작업 영역으로의 연결을 보호합니다.

프런트 엔드 프라이빗 링크 구성을 참조하세요.

백 엔드 프라이빗 연결

다음 다이어그램에서는 백 엔드 프라이빗 연결에 대한 네트워크 흐름을 보여 줍니다. 백 엔드 프라이빗 연결은 작업 영역 VNet을 통해 프라이빗 엔드포인트를 사용하여 databricks_ui_api Azure Databricks 클러스터에서 작동하는 데 필요한 핵심 Azure Databricks 서비스에 대한 연결을 보호합니다.

Azure Databricks에 대한 백 엔드 프라이빗 연결 구성을 참조하세요.

주요 고려 사항

프라이빗 연결을 구성하기 전에 다음 사항에 유의하세요.

• 프라이빗 엔드포인트에서 네트워크 보안 그룹 정책을 사용하도록 설정한 경우 프라이빗 엔드포인트가 배포된 서브넷의 네트워크 보안 그룹에서 인바운드 보안 규칙에 대한 포트 443, 6666, 3306 및 8443-8451을 허용해야 합니다.
• 네트워크와 Azure Portal 및 해당 서비스 간에 연결을 만들려면 허용 목록에 Azure Portal URL을 추가해야 할 수 있습니다. 방화벽 또는 프록시 서버에서 Azure Portal URL 허용을 참조하세요.

올바른 Private Link 구현 선택

이 가이드를 사용하여 요구 사항에 가장 적합한 구현을 결정합니다.