마이그레이션 계획: ​Azure Synapse Analytics 전용 SQL 풀에서 Fabric 데이터 웨어하우스로

적용 대상:✅ Microsoft Fabric 내 웨어하우스

이 문서에서는 Azure Synapse Analytics 전용 SQL 풀에서 Microsoft Fabric 웨어하우스로 데이터 웨어하우징을 마이그레이션하는 전략, 고려 사항 및 방법을 자세히 설명합니다.

마이그레이션 소개

Microsoft는 Data Factory, 데이터 엔지니어링, 데이터 웨어하우징, 데이터 과학, 실시간 인텔리전스 및 Power BI를 비롯한 포괄적인 서비스 제품군을 제공하는 엔터프라이즈를 위한 일체형 SaaS 분석 솔루션인 Microsoft Fabric을 도입했습니다.

이 문서에서는 DDL(스키마) 마이그레이션, DML(데이터베이스 코드) 마이그레이션 및 데이터 마이그레이션 옵션에 중점을 둡니다. Microsoft는 몇 가지 옵션을 제공하며 여기서는 각 옵션에 대해 자세히 설명하고 시나리오에 대해 고려해야 하는 이러한 옵션에 대한 지침을 제공합니다. 이 문서에서는 일러스트레이션 및 성능 테스트를 위해 TPC-DS 업계 벤치마크를 사용합니다. 실제 결과는 데이터 형식, 데이터 유형, 테이블 너비, 데이터 원본 대기 시간 등을 비롯한 여러 요인에 따라 달라질 수 있습니다.

마이그레이션 준비

시작하기 전에 마이그레이션 프로젝트를 신중하게 계획하고 스키마, 코드 및 데이터가 Fabric 웨어하우스와 호환되는지 확인합니다. 고려해야 할 몇 가지 제한 사항이 있습니다. 마이그레이션 제공 전에 필요한 다른 리소스뿐만 아니라 호환되지 않는 항목의 리팩터링 작업을 정량화합니다.

계획의 또 다른 주요 목표는 솔루션이 Fabric 웨어하우스가 제공하도록 설계된 높은 쿼리 성능을 최대한 활용할 수 있도록 디자인을 조정하는 것입니다. 확장을 위한 Data Warehouse의 디자인은 고유한 디자인 패턴을 도입하므로 일반적인 접근 방식이 항상 최선은 아닙니다. 마이그레이션 후 일부 디자인 조정을 수행할 수 있지만 프로세스의 앞부분에서 변경하면 시간과 노력이 절약되므로 성능 지침을 검토하세요. 한 기술/환경에서 다른 기술/환경으로 마이그레이션하는 것은 항상 중요한 작업입니다.

다음 다이어그램에서는 원활한 마이그레이션을 계획하고 준비하기 위해 각 핵심 요소의 관련 작업과 함께 분석 및 평가, 계획 및 디자인, 마이그레이션, 모니터링 및 관리, 최적화 및 현대화 핵심 요소로 구성된 주요 핵심 요소를 나열하는 마이그레이션 수명 주기를 보여 줍니다.

Runbook for migration

Synapse 전용 SQL 풀에서 Fabric 웨어하우스로의 마이그레이션을 계획하기 위한 계획 수립 책자로 다음 활동을 고려하세요.

1. 분석 및 평가
   1. 목표와 동기를 식별합니다. 원하는 명확한 결과를 설정합니다.
   2. 기존 아키텍처를 검색, 평가 및 기준으로 합니다.
   3. 주요 이해 관계자 및 스폰서를 식별합니다.
   4. 마이그레이션할 항목의 범위를 정의합니다.
      1. 작고 간단하게 시작하여 여러 소규모 마이그레이션을 준비합니다.
      2. 프로세스의 모든 단계를 모니터링하고 문서화합니다.
      3. 마이그레이션을 위한 데이터 및 프로세스 인벤토리를 빌드합니다.
      4. 데이터 모델 변경 내용을 정의합니다(있는 경우).
      5. Fabric 작업 영역을 설정합니다.
   5. 어떤 능력이나 선호가 있나요?
      1. 가능한 모든 곳에서 자동화합니다.
      2. Azure 기본 제공 도구 및 기능을 사용하여 마이그레이션 작업을 줄입니다.
   6. 새 플랫폼에 대해 직원을 초기에 교육합니다.
      1. Microsoft Learn을 포함하여 업스킬링 요구 사항 및 학습 자산을 식별합니다.
2. 계획 및 디자인
   1. 원하는 아키텍처를 정의합니다.
   2. 마이그레이션에 대한 방법/도구를 선택하여 다음 작업을 수행합니다.
      1. 원본에서 데이터를 추출합니다.
      2. 테이블 및 뷰보기에 대한 메타데이터를 포함하여 DDL(스키마) 변환
      3. 기록 데이터를 포함하여 데이터를 수집합니다.
         1. 필요한 경우 새로운 플랫폼 성능과 확장성을 통해 데이터 모델을 다시 설계합니다.
      4. DML(데이터베이스 코드) 마이그레이션
         1. 저장 프로시저 및 업무 프로세스를 마이그레이션하거나 리팩터링합니다.
   3. 원본에서 보안 기능 및 개체 권한을 인벤토리화하고 추출합니다.
   4. 증분 로드를 위해 기존 ETL/ELT 프로세스를 대체/수정하도록 설계 및 계획합니다.
      1. 새 환경에 대한 병렬 ETL/ELT 프로세스를 만듭니다.
   5. 자세한 마이그레이션 계획을 준비합니다.
      1. 현재 상태를 원하는 새 상태로 매핑합니다.
3. 마이그레이션
   1. 스키마, 데이터, 코드 마이그레이션을 수행합니다.
      1. 원본에서 데이터를 추출합니다.
      2. Schema (DDL) conversion
      3. 데이터 수집
      4. DML(데이터베이스 코드) 마이그레이션
   2. 필요한 경우 마이그레이션 속도를 지원하기 위해 전용 SQL 풀 리소스를 일시적으로 확장합니다.
   3. 보안 및 권한을 적용합니다.
   4. 증분 로드를 위해 기존의 ETL/ELT 프로세스를 마이그레이션합니다.
      1. ETL/ELT 증분 로드 프로세스를 마이그레이션하거나 리팩터링합니다.
      2. 병렬 증분 로드 프로세스를 테스트하고 비교합니다.
   5. 필요에 따라 세부 마이그레이션 계획을 조정합니다.
4. 모니터링 및 제어
   1. 병렬로 실행하여 원본 환경과 비교합니다.
      1. 애플리케이션, 비즈니스 인텔리전스 플랫폼 및 쿼리 도구를 테스트합니다.
      2. 쿼리 성능을 벤치마킹하고 최적화합니다.
      3. 비용, 보안 및 성능을 모니터링하고 관리합니다.
   2. 거버넌스 벤치마크 평가
5. 최적화 및 현대화
   1. 비즈니스가 안정되면 애플리케이션 및 기본 보고 플랫폼을 Fabric으로 전환합니다.
      1. 워크로드가 Azure Synapse Analytics에서 Microsoft Fabric으로 이동함에 따라 리소스를 확장/축소합니다.
      2. 향후 마이그레이션을 위해 얻은 경험을 바탕으로 반복 가능한 템플릿을 구축합니다. 반복.
      3. 비용 최적화, 보안, 확장성 및 최적의 작동에 대한 기회 식별
      4. 최신 Fabric 기능을 사용하여 데이터 자산을 현대화할 기회를 식별합니다.

‘리프트 앤 시프트’ 또는 현대화 여부

일반적으로 계획된 마이그레이션의 목적과 범위에 관계없이 두 가지 형식의 마이그레이션 시나리오가 있습니다. 즉, 있는 그대로의 리프트 앤 시프트와 아키텍처 및 변경 내용을 통합하는 단계적 접근 방식입니다.

리프트 앤 시프트

리프트 앤 시프트 마이그레이션에서 기존 데이터 모델은 새로운 Fabric 웨어하우스로 약간의 변경을 가하여 이전됩니다. 이 방법은 마이그레이션의 이점을 실현하는 데 필요한 새 작업을 줄여 위험과 마이그레이션 시간을 최소화합니다.

리프트 앤 시프트 마이그레이션은 다음 시나리오에 적합합니다.

• You have an existing environment with a small number of data marts to migrate.
• 이미 잘 설계된 별 모양 또는 눈송이 스키마에 있는 데이터가 있는 기존 환경이 있습니다.
• Fabric 웨어하우스로 이동하는 데 시간과 비용 부담이 있습니다.

요약하자면, 이 접근 방식은 현재 Synapse 전용 SQL 풀 환경으로 최적화된 워크로드에 적합하므로 Fabric에서 크게 변경할 필요가 없습니다.

아키텍처를 변경하여 단계적 접근 방식으로 현대화

레거시 Data Warehouse가 오랜 기간 동안 발전한 경우 필요한 성능 수준을 유지하기 위해 이를 다시 설계해야 할 수 있습니다.

Fabric 작업 영역에서 사용할 수 있는 새로운 엔진과 기능을 활용하도록 아키텍처를 다시 디자인할 수도 있습니다.

디자인 차이점: Synapse 전용 SQL 풀 및 Fabric 웨어하우스

전용 SQL 풀을 Fabric 웨어하우스와 비교하여 다음과 같은 Azure Synapse 및 Microsoft Fabric 데이터 웨어하우징의 차이점을 고려합니다.

Table considerations

서로 다른 환경 간에 테이블을 마이그레이션할 때 일반적으로 원시 데이터와 메타데이터만 실제로 마이그레이션됩니다. 인덱스와 같은 원본 시스템의 다른 데이터베이스 요소는 일반적으로 새 환경에서 불필요하거나 다르게 구현될 수 있으므로 마이그레이션되지 않습니다.

인덱스와 같은 원본 환경의 성능 최적화는 새 환경에서 성능 최적화를 추가할 수 있는 위치를 나타내지만 이제 Fabric에서 자동으로 처리합니다.

T-SQL 고려 사항

알아야 할 몇 가지 DML(데이터 조작 언어) 구문 차이점이 있습니다. 패브릭 데이터 웨어하우스의 T-SQL 노출 영역을 참조하세요. DML(데이터베이스 코드)에 대한 마이그레이션 방법을 선택할 때 코드 평가도 고려합니다.

마이그레이션 시 Parity 차이에 따라 T-SQL DML 코드의 일부를 다시 작성해야 할 수 있습니다.

데이터 형식 매핑 차이점

Fabric 웨어하우스에는 몇 가지 데이터 형식 차이점이 있습니다. 자세한 내용은 Microsoft Fabric의 데이터 형식을 참조하세요.

다음 테이블에서는 Synapse 전용 SQL 풀에서 Fabric 웨어하우스로 지원되는 데이터 형식의 매핑을 제공합니다.

* Datetime2은(는) 저장된 추가 표준 시간대 오프셋 정보를 저장하지 않습니다. datetimeoffset 데이터 형식은 현재 Fabric 웨어하우스에서 지원되지 않으므로 표준 시간대 오프셋 데이터를 별도의 열로 추출해야 합니다.

관련 콘텐츠

• Microsoft Fabric에서 웨어하우스 만들기
• 패브릭 데이터 웨어하우스 성능 지침
• Microsoft Fabric의 데이터 웨어하우징 보안
• 블로그: Azure Synapse 전용 SQL 풀을 Fabric Data Warehouse 컴퓨팅에 매핑