Snowflake 데이터에 대한 데이터 품질 설정

Snowflake 데이터 원본을 검사할 때 Microsoft Purview는 다음을 비롯한 기술 메타데이터 추출을 지원합니다.

• 열을 포함한 서버, 데이터베이스, 스키마 및 테이블 열, 외장 키 및 고유 제약 조건을 포함한 뷰입니다.
• 매개 변수 데이터 세트 및 결과 집합을 포함한 저장 프로시저.
• 매개 변수 데이터 세트를 포함한 함수입니다.
• 열을 포함한 파이프, 스테이지 및 스트림.
• 작업 및 시퀀스.

데이터 맵에 Snowflake 원본 등록

통합 카탈로그 새 Snowflake 소스를 등록하려면 다음 단계를 수행합니다.

• Microsoft Purview 포털에 로그인합니다.
• 데이터 맵 솔루션 카드 선택합니다. 데이터 맵 솔루션 카드 표시되지 않으면 모든 솔루션 보기를 선택한 다음 Core 섹션에서 데이터 맵을 선택합니다.
• 등록을 선택하세요.
• 원본 등록에서 Snowflake를 선택합니다.

데이터 맵 검사 설정

• 등록된 Snowflake 소스를 선택합니다.
• + 새 검사를 선택합니다.
• 아래 세부 정보를 제공합니다.
  • 이름: 검사의 이름
  • 통합 런타임을 통해 연결: 시나리오에 따라 Azure 자동 해결 통합 런타임, 관리되는 Virtual Network IR 또는 SHIR을 선택합니다.
  • 연결 호스트: 스캔하는 동안 Snowflake에 대한 연결을 설정하는 데 사용되는 엔드포인트를 선택합니다. 서버 URL 또는 데이터 원본에서 구성한 다른 호스트 중에서 선택할 수 있습니다.
  • 자격 증명: 자격 증명을 선택하여 데이터 원본에 연결합니다. 다음을 수행해야 합니다.
    • 자격 증명을 만드는 동안 기본 인증을 선택합니다.
    • 사용자 이름 입력 필드에서 Snowflake에 연결하는 데 사용되는 사용자 이름을 제공합니다.
    • Snowflake에 연결하는 데 사용되는 사용자 암호를 비밀 키에 저장합니다.
  • 웨어하우스: 대문자에서 검사를 강화하는 데 사용되는 instance 웨어하우스의 이름을 지정합니다. 자격 증명에 지정된 사용자에게 할당된 기본 역할에는 이 웨어하우스에 대한 USAGE 권한이 있어야 합니다.
  • 데이터베이스: 대문자로 가져올 데이터베이스 instance 이름을 하나 이상 지정합니다. 목록의 이름을 세미콜론(;))으로 구분합니다. 예를 들어 DB1; DB2. 자격 증명에 지정된 사용자에게 할당된 기본 역할은 데이터베이스 개체에 대한 적절한 권한이 있어야 합니다.
  • 스키마: 세미콜론으로 구분된 목록으로 표현되는 가져올 스키마의 하위 집합을 나열합니다.
• 연결 테스트를 선택하여 설정의 유효성을 검사합니다(Azure Integration Runtime 사용할 때 사용 가능).
• 계속을 선택합니다.
• 분류에 대한 검사 규칙 집합을 선택합니다. 시스템 기본값, 기존 사용자 지정 규칙 집합 중에서 선택하거나 인라인으로 새 규칙 집합을 만들 수 있습니다.
• 검사를 검토하고 저장 및 실행을 선택합니다.

스캔한 후 Snowflake의 데이터 자산은 통합 카탈로그 검색에서 사용할 수 있습니다. Microsoft Purview에서 Snowflake를 연결하고 관리하는 방법에 대한 자세한 내용은 이 문서를 참조하세요.

Snowflake 프라이빗 링크로 프라이빗 엔드포인트 구성

관리형 가상 네트워크를 사용하여 Snowflake 프라이빗 링크에 대한 프라이빗 엔드포인트를 구성하려면 단계 별 지침을 따릅니다.

Azure Private Link Snowflake에 대한 액세스가 개인 IP 주소를 통해 제공되도록 하여 Snowflake에 대한 프라이빗 연결을 제공합니다. 네트워크 트래픽은 Microsoft 백본을 사용하여 Snowflake Virtual Network 흐르고 공용 인터넷을 방지합니다. 이렇게 하면 보안 및 프라이빗 통신을 제공하면서 액세스 규칙을 비공개로 유지하여 네트워크 구성이 크게 간소화됩니다.

1. 를 실행 SYSTEM$WHITE_LIST and SYSTEM$WHITE_LIST_PRIVATELINK 하여 퍼블릭 및 white_list 호스트의 SNOWFLAKE_DEPLOYMENT, SNOWFLAKE_DEPLOYMENT_REGIONLESS and OCSP_CACHE 값을 가져옵니다. 예제 스크립트는 이 문서에 제공됩니다.
2. 를 ACCOUNTADMIN 실행 SYSTEM$GET_SNOWFLAKE_PLATFORM_INFO() 하여 snowflake-vnet-subnet-ids 값을 가져옵니다. Snowflake의 Azure 테넌트 Private Link 대한 구독 ID는 여기에서 가져옵니다. 예제 스크립트는 이 문서에 제공됩니다. 구독 ID는 리소스 그룹 azure-prod가 있거나 없는 경우 deployment-infra-rg 또는 이와 유사한 ID입니다. 리소스 그룹 및 구독 ID는 나중에 변경될 수 있습니다. 실제 구독 ID 세부 정보를 얻으려면 Snowflake 지원에 문의하세요.
3. Data Factory Studio의 관리 메뉴에 있는 관리되는 프라이빗 엔드포인트 섹션 아래에 프라이빗 링크에 대한 프라이빗 엔드포인트를 만듭니다. Data Factory 관리형 프라이빗 엔드포인트에 대한 자세한 내용을 확인하세요.
4. 프라이빗 링크 서비스를 선택하여 Snowflake 프라이빗 링크에 대한 관리되는 엔드포인트를 구성합니다.
5. 대상 Snowflake 프라이빗 링크의 리소스 ID는 형식 /subscriptions/(subscription_id)/resourcegroups/az(region)-privatelink/providers/microsoft.network/privatelinkservices/sf-pvlinksvc-az(region)입니다.

• 지역 ID 및 정규화된 이름을 가져오려면 를 실행하고 SYSTEM_WHITE_LIST 공용 및 허용 목록 호스트에 대한 , SNOWFLAKE_DEPLOYMENT_REGIONLESS및 OCSP_CACHE 값을 가져옵니다SNOWFLAKE_DEPLOYMENT.SYSTEM_WHITE_LIST_PRIVATELINK
• 구독 ID를 가져오려면 를 ACCOUNTADMIN 실행 SYSTEM$GET_SNOWFLAKE_PLATFORM_INFO() 하여 snowflake-vnet-subnet-ids 값을 가져옵니다. Snowflake의 Azure 테넌트 Private Link 대한 구독 ID는 여기에서 가져옵니다.

6. 정규화된 이름의 경우 1단계에서 퍼블릭 및 프라이빗 링크 호스트의 및 OCSP_CACHE 를 추가 SNOWFLAKE_DEPLOYMENT, SNOWFLAKE_DEPLOYMENT_REGIONLESS 합니다.
7. 프로비저닝 상태는 성공이어야 하며 승인 상태는 보류 중이어야 합니다. 프로비전 상태가 실패한 경우 제공된 값을 검사 올바른 값으로 프로세스를 반복합니다.
8. 프라이빗 링크는 Snowflake의 Azure 구독에 있으므로 프라이빗 엔드포인트 연결을 승인하려면 지원 티켓을 Snowflake로 올려야 합니다. Azure Portal 관리되는 프라이빗 엔드포인트 리소스 ID 및 관리되는 승인 링크를 제공합니다.
9. Snowflake 지원에서 연결이 승인되었음을 확인하면 관리형 엔드포인트 승인 상태를 승인하고 사용할 준비가 되어 있어야 합니다.
10. 를 실행 SYSTEM$GET_PRIVATELINK_AUTHORIZED_ENDPOINTS() 하여 Snowflake에서 연결을 검사. 웨어하우스에서 다음 쿼리를 실행하여 읽을 수 있는 형식으로 가져올 수도 있습니다. 예제 스크립트는 이 문서에 제공됩니다.
11. 연결된 서비스는 Snowflake 연결로 구성되며 프라이빗 엔드포인트를 사용하여 프라이빗 링크를 통해 Snowflake에 연결합니다.

데이터 품질 검사를 위해 Snowflake 데이터 원본에 대한 연결 설정

이 시점에서 검사된 자산은 카탈로그화 및 거버넌스를 수행할 준비가 된 것입니다. 검사된 자산을 거버넌스 도메인 Sele의 데이터 제품에 연결합니다. 데이터 품질 탭에서 새 Azure SQL 데이터베이스 연결: 수동으로 입력한 데이터베이스 이름 가져오기를 추가합니다.

1. Microsoft Purview 포털에서 통합 카탈로그 엽니다.

2. 상태 관리에서 데이터 품질을 선택합니다.

3. 목록에서 거버넌스 도메인을 선택한 다음 관리 드롭다운 목록에서 Connections 선택합니다.

4. Connections 페이지에서 연결을 구성합니다.

   • 연결 이름 및 설명을 추가합니다.
   • 원본 유형 Snowflake를 선택합니다.
   • 서버 이름, 웨어하우스 이름, 데이터베이스 이름, 스키마 이름 및 테이블 이름을 추가합니다.
   • 인증 방법 - 기본 인증을 선택합니다.
   • 사용자 이름을 추가합니다.
   • 자격 증명 추가:
     • Azure 구독 추가
     • 키 자격 증명 모음 연결
     • 비밀 이름
     • 비밀 버전
   • Snowflake가 Azure Virtual Network 실행 중인 경우 관리형V-Net 사용 확인란을 선택합니다.
   • Azure 지역을 선택합니다.
   • Private Link 리소스 ID를 추가합니다.
   • 정규화된 도메인 이름을 추가합니다.

5. 연결을 테스트하여 작동하는지 확인합니다. Virtual Network 사용하는 경우 테스트 연결 기능이 지원되지 않습니다.

   

   

대상 Snowflake 프라이빗 링크의 리소스 ID는 형식 /subscriptions/(subscription_id)/resourcegroups/az(region)-privatelink/providers/microsoft.network/privatelinkservices/sf-pvlinksvc-az(region)입니다.

• 지역 ID 및 정규화된 이름을 가져오려면 를 실행하고 SYSTEM_WHITE_LIST 공용 및 허용 목록 호스트에 대한 , SNOWFLAKE_DEPLOYMENT_REGIONLESS및 OCSP_CACHE 값을 가져옵니다SNOWFLAKE_DEPLOYMENT.SYSTEM_WHITE_LIST_PRIVATELINK
• 구독 ID를 가져오려면 를 ACCOUNTADMIN 실행 SYSTEM$GET_SNOWFLAKE_PLATFORM_INFO() 하여 snowflake-vnet-subnet-ids 값을 가져옵니다. Snowflake의 Azure 테넌트 Private Link 대한 구독 ID는 여기에서 가져옵니다.

Snowflake의 데이터에 대한 프로파일링 및 데이터 품질 검사

연결 설정이 성공적으로 완료되면 Snowflake에서 데이터를 프로파일하고, 만들고, 적용하고, 데이터의 데이터 품질 검사를 실행할 수 있습니다. 아래 문서에 설명된 단계별 지침을 따릅니다.

• 데이터의 데이터 프로파일링을 구성하고 실행하는 방법
• 데이터 품질 검사를 구성하고 실행하는 방법

참조

• 데이터 맵 검사 - Snowflake 데이터
• 데이터 품질 문제 해결
• 데이터 품질 연결을 설정하는 방법 알아보기
• Azure Virtual Network 구성
• Snowflake Private Link 프라이빗 엔드포인트 구성