다음을 통해 공유

Delta Lake 테이블 형식 상호 운용성

Microsoft Fabric에서 Delta Lake 테이블 형식은 분석의 표준입니다. Delta Lake 는 빅 데이터 및 분석 워크로드에 ACID(원자성, 일관성, 격리, 내구성) 트랜잭션을 제공하는 오픈 소스 스토리지 계층입니다.

모든 패브릭 환경에서는 Delta Lake 테이블을 생성하고 사용하므로 상호 운용성과 통합된 제품 환경을 구현할 수 있습니다. 패브릭 데이터 웨어하우스 또는 Synapse Spark와 같은 하나의 컴퓨팅 엔진에서 생성된 Delta Lake 테이블은 Power BI와 같은 다른 엔진에서 사용할 수 있습니다. 패브릭으로 데이터를 수집할 때 Fabric은 기본적으로 델타 테이블로 저장합니다. OneLake 바로 가기를 사용하여 Delta Lake 테이블을 포함하는 외부 데이터를 쉽게 통합할 수 있습니다.

Delta Lake 기능 및 Fabric 경험

상호 운용성을 달성하기 위해 모든 패브릭 경험은 Delta Lake 기능과 패브릭 역량에 맞춰 조정됩니다. 일부 경험은 Delta Lake 테이블에만 쓸 수 있고 다른 경험은 Delta Lake 테이블에서 읽을 수 있습니다.

  • 작성자: 데이터 웨어하우스, 이벤트 스트림 및 Power BI 의미 체계 모델을 OneLake로 내보냅니다.
  • 사용자: SQL 분석 엔드포인트 및 Power BI Direct Lake 시맨틱 모델
  • 기록기 및 판독기: Fabric Spark 런타임, 데이터 흐름, 데이터 파이프라인 및 KQL(Kusto 쿼리 언어) 데이터베이스

다음 매트릭스는 주요 Delta Lake 기능 및 각 패브릭 기능에 대한 지원을 보여 줍니다.

패브릭 기능 이름 기반 열 매핑 삭제 벡터 V-순서 쓰기 테이블 최적화 및 유지 관리 파티션 쓰기 파티션 읽기 액체 클러스터링 TIMESTAMP_NTZ 델타 판독기/기록기 버전 및 기본 테이블 기능
데이터 웨어하우스의 Delta Lake 내보내기 아니요 예 예 예 아니요 예 아니요 아니요 읽기 권한자: 3
작가: 7
삭제 벡터
SQL 분석 엔드포인트 예 예 해당 없음(해당 없음) 해당 없음(해당 없음) 해당 없음(해당 없음) 예 예 아니요 해당 없음(해당 없음)
Fabric Spark 런타임 1.3 예 예 예 예 예 예 예 예 읽기 권한자: 1
작가: 2
Fabric Spark 런타임 1.2 예 예 예 예 예 예 예, 읽기 전용 예 읽기 권한자: 1
작가: 2
Fabric Spark 런타임 1.1 예 아니요 예 예 예 예 예, 읽기 전용 아니요 읽기 권한자: 1
작가: 2
데이터 흐름 예 예 예 아니요 예 예 예, 읽기 전용 아니요 읽기 권한자: 1
작가: 2
데이터 파이프라인 아니요 아니요 예 아니요 예, 덮어쓰기만 하세요 예 예, 읽기 전용 아니요 읽기 권한자: 1
작가: 2
Power BI Direct Lake 의미 체계 모델 예 예 해당 없음(해당 없음) 해당 없음(해당 없음) 해당 없음(해당 없음) 예 예 아니요 해당 없음(해당 없음)
Power BI 의미 체계 모델을 OneLake로 내보내기 예 해당 없음(해당 없음) 예 아니요 예 해당 없음(해당 없음) 아니요 아니요 읽기 권한자: 2
작가: 5
KQL 데이터베이스 예 예 아니요 * 없음 예 예 아니요 아니요 읽기 권한자: 1
작가: 1
이벤트스트림 아니요 아니요 아니요 아니요 예 해당 없음(해당 없음) 아니요 아니요 읽기 권한자: 1
작가: 2

* KQL 데이터베이스는 보존과 같은 특정 테이블 유지 관리 기능을 제공합니다. 데이터는 보존 기간이 끝나면 OneLake에서 제거됩니다. 자세한 내용은 One 논리적 복사본을 참조하십시오.

메모

  • 패브릭은 기본적으로 이름 기반 열 매핑을 작성하지 않습니다. 기본 패브릭 환경은 서비스 전체에서 호환되는 테이블을 생성합니다. 타사 서비스에서 생성된 Delta Lake 테이블에는 호환되지 않는 테이블 기능이 있을 수 있습니다.
  • 일부 패브릭 환경에는 bin 압축, V 순서 및 이전 참조되지 않은 파일 정리와 같은 상속된 테이블 최적화 및 유지 관리 기능이 없습니다. Delta Lake 테이블을 분석에 최적화하려면 해당 환경에서 수집된 테이블을 위해 Fabric의 테이블 유지 관리 기능을 사용하는 기술을 따르십시오.

현재 제한 사항

현재 Fabric은 다음 Delta Lake 기능을 지원하지 않습니다.

  • V2 검사점은 모든 환경에서 균일하게 사용할 수 없습니다. Spark 노트북 및 Spark 작업만 V2 검사점을 사용하여 테이블을 읽고 쓸 수 있습니다. Lakehouse와 SQL Analytics는 __delta_log 폴더에 V2 검사점 파일이 포함된 테이블을 올바르게 나열하지 못합니다.
  • Delta Lake 3.x 유니폼. 데이터 엔지니어링 Spark 컴퓨팅에서만 지원됩니다 (예: 노트북, 스파크 작업).
  • ID 열 쓰기(전용 Databricks 기능)
  • 델타 라이브 테이블(전용 Databricks 기능)
  • Delta Lake 4.x 기능: 형식 확장, 데이터 정렬, 변형 형식, 조정된 커밋.

테이블 이름의 특수 문자

Microsoft Fabric은 테이블 이름의 일부로 특수 문자를 지원합니다. 이렇게 하면 유니코드 문자를 사용하여 Microsoft Fabric 환경에서 테이블 이름을 작성할 수 있습니다.

다음 특수 문자는 예약되거나 Microsoft Fabric 기술 중 하나 이상과 호환되지 않으며 테이블 이름의 일부로 사용해서는 안 됩니다. " (큰따옴표), ' (작은따옴표), #, %, +, :, ?, ' (backtick).

관련 콘텐츠