Microsoft Fabric의 데이터베이스 미러링 이 엔터프라이즈, 클라우드 기반, 제로 ETL, SaaS 기술입니다. 이 가이드는 Azure Databricks에서 미러된 데이터베이스를 설정하는 데 도움이 되며, OneLake에서 Azure Databricks 데이터의 읽기 전용, 연속 복제 복사본을 만듭니다.
필수 조건
- 메타스토어에서 외부 데이터 액세스를 사용하도록 설정해야 합니다. 자세한 내용은 메타스토어에서 외부 데이터 액세스 사용을 참조하세요.
- Unity 카탈로그를 사용하도록 설정된 기존 Azure Databricks 작업 영역을 만들거나 사용합니다.
- Fabric에서 액세스할 테이블을 포함하는 Unity 카탈로그의 스키마에 대한 권한이 있어야 합니다
EXTERNAL USE SCHEMA. - Fabric의 사용 권한 모델을 사용하여 Fabric의 카탈로그, 스키마 및 테이블에 대한 액세스 제어를 설정해야 합니다.
- Azure Databricks 작업 영역은 프라이빗 엔드포인트 뒤에 있을 수 없습니다.
Azure Databricks에서 미러된 데이터베이스 만들기
다음 단계에 따라 Azure Databricks Unity 카탈로그에서 새 미러된 데이터베이스를 만듭니다.
https://powerbi.com으로 이동합니다.
+ 새로 만들기를 선택한 다음 미러된 Azure Databricks 카탈로그를 선택합니다.
구성한 경우 기존 연결을 선택합니다.
- 기존 연결이 없는 경우 새 연결을 만들고 모든 세부 정보를 입력합니다. '조직 계정' 또는 '서비스 주체'를 사용하여 Azure Databricks 작업 영역에 인증할 수 있습니다. 연결을 만들려면 Azure Databricks 작업 영역의 사용자 또는 관리자여야 합니다.
- 방화벽 뒤에 있는 Azure ADLS(Data Lake Storage) Gen2 계정에 액세스하려면 이 문서의 뒷부분에 있는 Azure Data Lake Storage Gen2 계정에 대한 네트워크 보안 액세스를 사용하도록 설정하는 단계를 따라야 합니다.
Azure Databricks 작업 영역에 연결한 후에는 Databricks 카탈로그 페이지에서 테이블 선택 페이지에서 Microsoft Fabric에서 추가 및 액세스하려는 포함/제외 목록을 통해 카탈로그, 스키마 및 테이블을 선택할 수 있습니다. Fabric 작업 영역에 추가할 카탈로그 및 관련 스키마 및 테이블을 선택합니다.
- Unity 카탈로그 권한 및 보안 개체에 설명된 권한 모델에 따라 부여된 권한에 따라 액세스할 수 있는 카탈로그/스키마/테이블만 볼 수 있습니다.
- 기본적으로 선택한 스키마에 대한 이후 카탈로그 변경 내용을 자동으로 동기화 할 수 있습니다. 자세한 내용은 Azure Databricks Unity 카탈로그 미러링을 참조하세요.
- 선택한 경우 다음을 선택합니다.
기본적으로 항목의 이름은 Fabric에 추가하려는 카탈로그의 이름이 됩니다. 검토 및 만들기 페이지에서 세부 정보를 검토하고 필요에 따라 작업 영역에서 고유해야 하는 미러된 데이터베이스 항목 이름을 변경할 수 있습니다. 선택하고생성합니다.
Databricks 카탈로그 항목이 만들어지고 각 테이블에 대해 해당 Databricks 형식 바로 가기도 만들어집니다.
- 테이블이 없는 스키마는 표시되지 않습니다.
SQL 분석 엔드포인트를 선택하여 바로 가기에 액세스할 때 데이터의 미리 보기를 볼 수도 있습니다. SQL 분석 엔드포인트 항목을 열어 탐색기 및 쿼리 편집기 페이지를 시작합니다. SQL 편집기에서 T-SQL을 사용하여 미러된 Azure Databricks 테이블을 쿼리할 수 있습니다.
Databricks 카탈로그 항목에 대한 Lakehouse 바로 가기 만들기
Lakehouse에서 Databricks 카탈로그 항목으로의 바로 가기를 만들어 Lakehouse 데이터를 사용하고 Spark Notebook을 사용할 수도 있습니다.
- 첫째, 우리는 레이크 하우스를 만듭니다. 이 작업 영역에 레이크하우스가 이미 있는 경우 기존 레이크하우스를 사용할 수 있습니다.
- 탐색 메뉴에서 작업 영역을 선택합니다.
- + 새>레이크 하우스를 선택합니다.
- 이름 필드에 레이크하우스의 이름을 입력하고 만들기를 선택합니다.
- 레이크하우스의 탐색기 보기에서 레이크하우스 메뉴의 데이터 가져오기 메뉴에서 레이크하우스의 데이터 로드 아래에서 새 바로 가기 단추를 선택합니다.
- Microsoft OneLake를 선택합니다. 카탈로그를 선택합니다. 이전 단계에서 만든 데이터 항목입니다. 그런 후 다음을 선택합니다.
- 스키마 내에서 테이블을 선택하고 다음을 선택합니다.
- 선택하고생성합니다.
- 이제 Lakehouse에서 바로 가기를 사용하여 다른 Lakehouse 데이터와 함께 사용할 수 있습니다. Notebooks 및 Spark를 사용하여 Azure Databricks 작업 영역에서 추가한 이러한 카탈로그 테이블의 데이터에 대한 데이터 처리를 수행할 수도 있습니다.
의미 체계 모델 만들기
미러된 항목을 기반으로 Power BI 의미 체계 모델을 만들고 테이블을 수동으로 추가/제거할 수 있습니다. 의미 체계 모델을 만들고 관리하는 방법에 대한 자세한 내용은 Power BI 의미 체계 모델 만들기를 참조하세요.
최상의 환경을 위해 의미 체계 모델링 작업에 Microsoft Edge 브라우저를 사용하는 것이 좋습니다.
의미 체계 모델 관계 관리
미러된 데이터베이스를 기반으로 새 의미 체계 모델을 만든 후
- 작업 영역의 탐색기에서 모델 레이아웃을 선택합니다.
- 모델 레이아웃을 선택하면 의미 체계 모델의 일부로 포함된 테이블의 그래픽이 표시됩니다.
- 테이블 간의 관계를 만들려면 한 테이블에서 다른 테이블의 다른 열 이름으로 열 이름을 끕니다. 테이블의 관계 및 카디널리티를 식별하기 위한 팝업이 표시됩니다.
Azure Data Lake Storage Gen2 계정에 대한 네트워크 보안 액세스 사용
이 섹션에서는 Azure Storage 방화벽 이 구성된 경우 ADLS(Azure Data Lake Storage) Gen2 계정에 대한 네트워크 보안을 구성하는 방법을 안내합니다.
필수 조건
- Unity 카탈로그를 사용하도록 설정된 기존 Azure Databricks 작업 영역을 만들거나 사용합니다.
- 작업 영역 ID 인증 유형(권장)을 사용하도록 설정하려면 패브릭 작업 영역을 F 용량과 연결해야 합니다. 작업 영역 ID를 만들려면 작업 영역 ID 를 사용하여 인증을 참조하세요.
- 이 섹션은 Azure Storage 방화벽 뒤에 있는 Azure ADLS(Data Lake Storage) Gen2 스토리지 계정에 도달하기 위한 것입니다. Azure Storage 방화벽 뒤에 있는 Azure Databricks 작업 영역 스토리지는 지원되지 않습니다.
- 카탈로그는 단일 스토리지 계정과 연결되어야 합니다.
네트워크 보안 액세스 사용
새 미러된 Azure Databricks 카탈로그를 만들 때 데이터 선택 단계에서 네트워크 보안 탭을 선택합니다.
구성된 경우 스토리지 계정에 대한 기존 연결을 선택합니다.
- 기존 ADLS 연결이 없는 경우 새 연결을 만듭니다.
- 스토리지 엔드포인트의 URL 은 선택한 카탈로그의 데이터가 저장되는 위치입니다. 엔드포인트는 스토리지 계정 수준에 있을 엔드포인트를 지정하지 않고 데이터가 저장되는 특정 폴더여야 합니다. 예를 들어 .
https://<storage account>.dfs.core.windows.net/container1/folder1https://<storage account>.dfs.core.windows.net/ - 연결 자격 증명을 제공합니다. 지원되는 인증 유형은 조직 계정, 서비스 주체 및 작업 영역 ID(권장)입니다.
Azure Portal에서 이전 단계에서 선택한 인증 유형에 따라 스토리지 계정에 대한 액세스 권한을 제공합니다. Azure Portal에서 스토리지 계정으로 이동합니다. 액세스 제어(IAM)를 선택합니다. +역할 할당 추가 및 추가를 선택합니다. 자세한 내용은 Azure Portal을 사용하여 Azure 역할 할당을 참조하세요.
- 스토리지 계정을 연결의 일부로 지정한 경우 선택한 인증 개체에 스토리지 계정에 Storage Blob 데이터 판독기 역할이 있어야 합니다.
- 특정 컨테이너를 연결의 일부로 지정한 경우 선택한 인증 개체에는 컨테이너에 Storage Blob 데이터 판독기 역할이 있어야 합니다.
- 컨테이너 내에서 특정 폴더를 지정한 경우(권장) 선택한 인증 개체에는 폴더 수준에서 읽기(R) 및 실행(E) 이 있어야 합니다. 서비스 주체 또는 작업 영역 ID를 인증 유형으로 사용하는 경우 해당 서비스 주체 또는 작업 영역 ID 실행 권한을 컨테이너의 루트 폴더와 지정한 폴더로 이어지는 폴더 계층의 각 폴더에 부여해야 합니다.
ADLS 액세스 권한을 부여하는 자세한 내용 및 단계는 ADLS 액세스 제어를 참조하세요.
신뢰할 수 있는 작업 영역 액세스를 사용하도록 설정하여 방화벽 지원 ADLS(Azure Data Lake Storage) Gen2 계정에 안전한 방식으로 액세스합니다. 신뢰할 수 있는 작업 영역 액세스를 사용하려면 Azure Databricks 작업 영역 연결과 독립적으로 사용할 수 있는 ADLS 스토리지 계정에 직접 연결을 만들어야 합니다. 자세한 내용은 Azure Databricks의 Secure Fabric 미러된 데이터베이스를 참조하세요.
스토리지 계정 이름이 ADLS 연결에 지정된 스토리지 계정과 일치하는 테이블에 대해 Unity 카탈로그 테이블의 바로 가기가 만들어집니다. 스토리지 계정 이름이 ADLS 연결에 지정된 스토리지 계정과 일치하지 않는 테이블의 경우 해당 테이블에 대한 바로 가기가 만들어지지 않습니다.
중요합니다
미러된 Azure Databricks 카탈로그 항목 시나리오 외부에서 ADLS 연결을 사용하려는 경우 스토리지 계정에서 Storage Blob 위임자 역할도 제공해야 합니다.
미러된 Databricks 항목에서 OneLake 보안 사용
다음 단계를 수행하여 UC(Unity 카탈로그) 정책을 Microsoft OneLake 보안에 매핑합니다.
- 엔트라 그룹을 동기화하고 Unity 카탈로그에서 사용 권한을 적용합니다. Azure Databricks에서 자동 ID 관리를 사용하여 Microsoft Entra ID 그룹을 동기화하고 관련 카탈로그/테이블에서 USE, BROWSE, SELECT와 같은 필요한 Unity 카탈로그 권한을 부여합니다.
- OneLake 데이터 액세스 역할을 할당합니다. 패브릭 작업 영역에서 새로 미러된 데이터에 대한 데이터 액세스 역할을 만듭니다. 이 역할에 동일한 Entra 그룹을 추가하고 Azure Databricks 테이블에 해당하는 OneLake 바로 가기에 대한 읽기 권한을 부여합니다. 리본 메뉴의 OneLake 보안 관리 단추를 사용하여 테이블 수준 보안을 바로 시작할 수 있습니다. 카탈로그 구조 및 사용 권한이 진화함에 따라 액세스 구성을 동기화된 상태로 유지합니다. 자세한 내용은 OneLake 데이터 액세스 제어 모델(미리 보기)을 참조하세요.