Google BigQuery에 대한 데이터 품질 설정(미리 보기)

지원되는 기능

Google BigQuery 원본을 검사할 때 Microsoft Purview는 다음을 지원합니다.

• 다음을 포함한 기술 메타데이터 추출:
  • 프로젝트 및 데이터 세트.
  • 열을 포함한 테이블입니다.
  • 열을 포함한 뷰입니다.
• 테이블 및 뷰 간의 자산 관계에 대한 정적 계보 가져오기

검사를 설정할 때 전체 Google BigQuery 프로젝트를 검색하도록 선택할 수 있습니다. 지정된 이름 또는 이름 패턴과 일치하는 데이터 세트의 하위 집합에 검사를 scope 수도 있습니다.

알려진 제한

• 현재 Microsoft Purview는 미국 다단계 위치에서 Google BigQuery 데이터 세트 검색만 지원합니다. 지정된 데이터 세트가 "us-east1" 또는 "EU"와 같은 다른 위치에 있는 경우 검사가 완료되지만 Microsoft Purview에는 자산이 표시되지 않습니다.

• 데이터 원본에서 개체를 삭제하면 후속 검사에서 Microsoft Purview에서 해당 자산을 자동으로 제거하지 않습니다.

Microsoft Purview에서 Google BigQuery 데이터를 카탈로그화하도록 데이터 맵 검사 구성

Google BigQuery 프로젝트 등록

• Microsoft Purview 포털에서 데이터 맵을 선택한 다음 등록을 선택합니다.
• 원본 등록에서 Google BigQuery를 선택한 다음, 계속을 선택합니다.
• 카탈로그에 표시되는 데이터 원본의 이름을 입력합니다.
• ProjectID를 입력합니다. 이 값은 정규화된 프로젝트 ID여야 합니다. 예를 들면 mydomain.com: myProject와 같습니다.
• 목록에서 컬렉션을 선택합니다.
• 등록을 선택하세요.

Google BigQuery 프로젝트에 대한 데이터 맵 검사 설정

• 자체 호스팅 통합 런타임이 설정되어 있는지 확인합니다. 설정되지 않은 경우 Google BigQuery 연결 필수 구성 요소에 나열된 단계를 사용합니다.

• 원본으로 이동합니다.

• 등록된 BigQuery 프로젝트를 선택합니다.

• 새 검사를 선택합니다.

• 다음 세부 정보를 입력합니다.

  • 이름: 검사의 이름입니다.
  • 통합 런타임을 통해 연결: 구성된 자체 호스팅 통합 런타임을 선택합니다.
  • 자격 증명 BigQuery 자격 증명을 구성하는 동안 다음을 확인합니다.
    • 인증 방법으로 기본 인증을 선택합니다.
    • 사용자 이름 필드에 서비스 계정의 이메일 ID를 제공합니다. 예를 들면 xyz\@developer.gserviceaccount.com와 같습니다.
    • 아래 단계에 따라 프라이빗 키를 생성합니다. 전체 JSON 키 파일을 복사하여 Key Vault 비밀 값으로 저장합니다. Google의 클라우드 플랫폼에서 새 프라이빗 키를 만들려면 다음을 수행합니다.
      • 탐색 메뉴에서 IAM(ID 액세스 관리)을 선택하고 관리 --> 서비스 계정 --> 프로젝트 선택 --을 선택합니다.>
      • 키를 만들려는 서비스 계정의 이메일 주소를 선택합니다.
      • 키 탭을 선택합니다.
      • 키 추가 드롭다운 메뉴를 선택한 다음, 새 키 만들기를 선택합니다.
      • JSON 형식을 선택합니다.
  • 자체 호스트 통합 런타임이 실행 중인 컴퓨터에서 JDBC(Java Database Connectivity) 드라이버 위치의 경로를 지정합니다. 예: D:\Drivers\GoogleBigQuery
  • 가져올 BigQuery 데이터 세트 목록을 지정합니다. 예를 들어 , dataset1dataset2. 목록이 비어 있으면 사용 가능한 모든 데이터 세트를 가져옵니다.
  • 검사 프로세스에서 사용할 가상 머신에서 사용할 수 있는 최대 메모리(GB) : 검사할 Google BigQuery 프로젝트의 크기에 따라 달라집니다.

• 연결 테스트를 선택합니다.

• 계속을 선택합니다.

• 검사 트리거를 선택합니다. 일정을 설정하거나 검사를 한 번 실행할 수 있습니다.

• 검사를 검토하고 저장 및 실행을 선택합니다.

검색되면 Google BigQuery 프로젝트의 데이터 자산을 통합 카탈로그 검색에서 사용할 수 있습니다. 자세한 내용은 Microsoft Purview에서 Google BigQuery를 연결하고 관리하는 방법을 참조하세요.

데이터 품질 검사를 위해 Google BigQuery 프로젝트에 대한 연결 설정

검사된 자산은 이제 카탈로그 및 거버넌스를 수행할 준비가 되었습니다. 검사된 자산을 거버넌스 도메인의 데이터 제품에 연결하여 데이터 품질 검사를 설정합니다.

1. 통합 카탈로그 상태 관리>데이터 품질로 이동합니다. 거버넌스 도메인을 선택하여 세부 정보 페이지를 연 다음 관리를 선택하여 연결을 만듭니다.

2. 연결 설정:

   • 연결 이름 및 설명을 추가합니다.
   • 원본 유형 Google BigQuery를 선택합니다.
   • 프로젝트 ID, 데이터 세트 이름 및 테이블 이름을 추가합니다.
   • 서비스 계정 프라이빗 키에 세부 정보를 입력합니다.
     • Microsoft Azure 구독을 추가합니다.
     • Microsoft Azure Key Vault 연결을 추가합니다.
     • 비밀 이름을 입력합니다.
     • 비밀 버전을 입력합니다.

3. 연결을 테스트하여 데이터 원본 연결이 성공적으로 구성되었는지 확인합니다.

   

   

Google BigQuery의 데이터에 대한 프로파일링 및 데이터 품질 검사

연결을 설정한 후 Google BigQuery에서 데이터를 프로파일하고, 규칙을 만들고 적용하고, 데이터에 대한 데이터 품질 검사를 실행할 수 있습니다. 다음 문서에 설명된 단계별 지침을 따릅니다.

• 데이터의 데이터 프로파일링을 구성하고 실행하는 방법
• 데이터 품질 검사를 구성하고 실행하는 방법

리소스

• Microsoft Purview에서 Google BigQuery 프로젝트에 연결 및 관리
• 데이터 품질 문제 해결
• 통합 카탈로그 데이터 품질에 대한 데이터 원본 연결 설정