이 문서에서는 Azure Databricks 계정 및 작업 영역의 배포 및 관리를 위한 네트워킹 구성을 소개합니다.
비고
Azure Databricks는 서버리스 워크로드가 고객 리소스에 연결할 때 네트워킹 비용을 청구합니다. Databricks 서버리스 네트워킹 비용 이해 참조
Azure Databricks 아키텍처 개요
Azure Databricks는 제어 평면 및 컴퓨팅 평면에서 작동합니다.
- 컨트롤 플레인에는 Azure Databricks가 Azure Databricks 계정에서 관리하는 백 엔드 서비스가 포함됩니다. 컨트롤 플레인 웹 애플리케이션
-
컴퓨팅 평면은 데이터가 처리되는 위치입니다. 사용 중인 컴퓨팅에 따라 두 가지 유형의 컴퓨팅 평면이 있습니다.
- 클래식 Azure Databricks 컴퓨팅의 경우 컴퓨팅 리소스는 클래식 컴퓨팅 평면이라고 하는 Azure 구독에 있습니다. 이는 Azure 구독의 네트워크 및 해당 리소스를 나타냅니다. 클래식 컴퓨팅 평면 리소스는 작업 영역이 있는 지역에 있습니다.
- 서버리스 컴퓨팅의 경우 서버리스 컴퓨팅 리소스는 Azure Databricks 계정의 서버리스 컴퓨팅 평면 에서 실행됩니다. 서버리스 컴퓨팅 평면 리소스는 작업 영역의 클래식 컴퓨팅 평면과 동일한 클라우드 지역에 있습니다. 작업 영역을 만들 지역을 선택합니다.
클래식 컴퓨팅 및 서버리스 컴퓨팅에 대한 자세한 내용은 Compute를 참조하세요. 추가 아키텍처 정보는 고급 아키텍처를 참조하세요.
보안 네트웤 연결
Azure Databricks는 기본적으로 보안 네트워킹 환경을 제공하지만 조직에 추가 요구 사항이 있는 경우 아래 다이어그램에 표시된 다양한 네트워킹 연결 간에 네트워크 연결 기능을 구성할 수 있습니다.
- Azure Databricks에 대한 사용자 및 애플리케이션: 액세스를 제어하고 사용자와 해당 Azure Databricks 작업 영역 간에 프라이빗 연결을 제공하도록 기능을 구성할 수 있습니다. Azure Databricks 네트워킹의 사용자를 참조하세요.
- 컨트롤 플레인 및 클래식 컴퓨팅 평면: 클러스터와 같은 클래식 컴퓨팅 리소스는 Azure 구독에 배포되고 컨트롤 플레인에 연결됩니다. 클래식 네트워크 연결 기능을 사용하여 고유한 가상 네트워크에 클래식 컴퓨팅 평면 리소스를 배포하고 클러스터에서 컨트롤 플레인으로 프라이빗 연결을 사용하도록 설정할 수 있습니다. 클래식 컴퓨팅 평면 네트워킹을 참조하세요.
- 서버리스 컴퓨팅 평면 및 스토리지: 서버리스 컴퓨팅에서 스토리지로 프라이빗 및 전용 연결을 구성할 수 있습니다. 서버리스 컴퓨팅 평면 네트워킹을 참고하십시오.
프라이빗 엔드포인트와 같은 Azure Storage 네트워킹 기능을 구성하여 클래식 컴퓨팅 평면과 Azure 리소스 간의 연결을 보호할 수 있습니다. Azure Databricks 작업 공간 액세스 권한을 Azure Data Lake Storage에 부여하는 방법과 Lakehouse Federation을 위한 네트워킹 권장 사항을 참조하세요.
작업 영역 스토리지 계정에 대한 방화벽 지원을 사용하도록 설정하여 권한 있는 네트워크 및 연결에서 계정에 대한 액세스를 제한할 수도 있습니다. 작업 영역 스토리지 계정에 대한 방화벽 지원 사용을 참조하세요.
제어 평면과 서버리스 컴퓨팅 평면 간의 연결은 항상 공용 인터넷이 아닌 Azure 네트워크 백본을 통해 이루어집니다.
시작하기
Databricks 네트워킹 아키텍처를 이해하고 주요 개념을 살펴봅니다.
| 주제 | Description |
|---|---|
| Databricks 아키텍처 개요 | Databricks 네트워킹의 기초를 형성하는 컨트롤 플레인 및 컴퓨팅 평면 아키텍처에 대해 알아봅니다. |
| Azure Private Link | 보안 강화를 위해 Azure Private Link를 사용하여 네트워크와 Databricks 간에 프라이빗 연결을 설정합니다. |
| 데이터 전송 및 연결 비용 이해 | 데이터 전송 가격 책정에 대해 알아보고 네트워크 연결 기능에 대한 비용을 최적화합니다. |
Connectivity
작업 영역에 대한 인바운드 액세스 및 컴퓨팅 리소스의 아웃바운드 연결에 대한 보안 네트워크 연결을 구성합니다.
| 주제 | Description |
|---|---|
| 프런트 엔드 네트워킹 | 웹 인터페이스 및 API를 통해 Databricks 작업 영역에 연결하는 사용자에 대한 네트워크 액세스 제어를 구성합니다. |
| 프런트 엔드 프라이빗 링크 | Azure Private Link를 사용하여 회사 네트워크에서 Databricks 작업 영역으로 프라이빗 연결을 사용하도록 설정합니다. |
| 서버리스 컴퓨터 플레인 네트워킹 | 서버리스 컴퓨팅 리소스와 데이터 원본 및 서비스 간에 보안 네트워크 액세스를 구성합니다. |
| Azure 리소스에 대한 프라이빗 연결 | 서버리스 컴퓨팅에서 Azure Storage, SQL Database 및 기타 Azure 서비스로 프라이빗 연결을 설정합니다. |
| VNet의 리소스에 대한 프라이빗 연결 | 프라이빗 엔드포인트를 사용하여 자체 VNet에서 실행되는 리소스에 서버리스 컴퓨팅을 연결합니다. |
| 프라이빗 엔드포인트 규칙 관리 | 서버리스 컴퓨팅 연결에 대한 프라이빗 엔드포인트 규칙을 구성하고 관리합니다. |
| 클래식 컴퓨팅 플레인 네트워킹 | 가상 네트워크에 배포된 클래식 컴퓨팅 리소스에 대한 네트워킹 옵션에 대해 알아봅니다. |
| VNet에 Azure Databricks 배포 | 향상된 네트워크 제어(VNet 삽입)를 위해 사용자 고유의 Azure VNet에서 Databricks 클러스터를 호스트합니다. |
| 피어 가상 네트워크 | Azure 구독의 다른 VNet에 Databricks VNet을 연결하여 추가 리소스에 액세스합니다. |
| 온-프레미스 네트워크에 작업 영역 연결 | VPN 또는 Azure ExpressRoute를 사용하여 회사 네트워크를 Databricks로 확장합니다. |
| 백 엔드 프라이빗 링크 | 클래식 컴퓨팅 리소스와 Databricks 컨트롤 플레인 간에 프라이빗 연결을 설정합니다. |
| 사용자 정의 경로 설정 | Databricks 클러스터의 트래픽 흐름을 제어하도록 UDR(사용자 정의 경로)을 구성합니다. |
| 작업 영역 네트워크 구성 업데이트 | 기존 작업 영역에 대한 네트워킹 구성을 수정합니다. |
| 보안 클러스터 연결 | 열린 인바운드 포트가 없는 클러스터에서 컨트롤 플레인으로 아웃바운드 전용 연결을 사용하도록 설정합니다. |
네트워크 보안
네트워크 액세스를 제한하고 모니터링하는 보안 컨트롤을 구현합니다.
| 주제 | Description |
|---|---|
| 서버리스 출구 제어란? | 서버리스 컴퓨팅 리소스에서 아웃바운드 네트워크 연결을 제한하여 데이터 반출을 방지하고 규정 준수를 적용합니다. |
| 서버리스 출구 제어를 위한 네트워크 정책 관리 | 서버리스 컴퓨트에서 허용되는 아웃바운드 연결을 정의하는 네트워크 정책을 생성하고 관리합니다. |
| IP 액세스 목록 개요 | IP 액세스 목록을 사용하여 Databricks 작업 영역에 액세스할 수 있는 IP 주소를 제어하는 방법을 알아봅니다. |
| 작업 영역에 대한 IP 액세스 목록 | 승인된 네트워크의 액세스를 제한하도록 작업 영역 수준 IP 액세스 제어를 구성합니다. |
| 계정 콘솔의 IP 액세스 목록 | 중앙 집중식 보안 관리를 위해 여러 작업 영역에 적용되는 계정 수준 IP 제한을 설정합니다. |
| 스토리지 액세스에 대한 서비스 엔드포인트 정책 구성 | Azure 서비스 엔드포인트를 사용하여 Databricks와 Azure Storage 계정 간의 연결을 보호합니다. |
| 작업 영역 스토리지 계정에 대한 방화벽 지원 사용 | Databricks 클래식 컴퓨팅 리소스의 액세스를 허용하도록 Azure Storage 방화벽 규칙을 구성합니다. |
| 서버리스 컴퓨팅 액세스를 위한 Azure Storage 방화벽 구성 | 안정적인 서비스 태그를 사용하여 서버리스 컴퓨팅 연결에 대한 Azure Storage 방화벽 규칙을 구성합니다. |
| 도메인 이름 방화벽 규칙 | 네트워크 보안 제어를 통해 Databricks 서비스를 허용하도록 도메인 기반 방화벽 규칙을 구성합니다. |
| 방화벽 지원을 위한 ARM 템플릿 | Azure Resource Manager 템플릿을 사용하여 작업 영역 스토리지 계정에 대한 방화벽 구성을 자동화합니다. |