Fabric 런타임은 Azure와 원활하게 통합됩니다. Apache Spark를 사용하는 데이터 엔지니어링 및 데이터 과학 프로젝트 모두를 위한 정교한 환경을 제공합니다. 이 문서에서는 빅 데이터 계산을 위한 최신 런타임인 Fabric Runtime 1.3의 필수 기능 및 구성 요소에 대한 개요를 제공합니다.
Microsoft Fabric 런타임 1.3은 최신 GA 런타임 버전이며 데이터 처리 기능을 향상시키기 위해 설계된 다음 구성 요소 및 업그레이드를 통합합니다.
Apache Spark 3.5
운영 체제: Mariner 2.0
Java: 11
Scala: 2.12.17
Python: 3.11
델타 레이크: 3.2
R: 4.4.1
팁
패브릭 런타임 1.3에는 더 많은 비용 없이 성능을 크게 향상시킬 수 있는 네이티브 실행 엔진에 대한 지원이 포함되어 있습니다. 환경의 모든 작업 및 Notebook에서 네이티브 실행 엔진을 사용하도록 설정하려면 환경 설정으로 이동하고, Spark 컴퓨팅을 선택하고, 가속 탭으로 이동하고, 네이티브 실행 엔진 사용을 선택합니다. 저장하고 게시한 후에는 이 설정이 환경 전체에 적용되므로 모든 새 작업 및 Notebook이 향상된 성능 기능을 자동으로 상속하고 이점을 누릴 수 있습니다.
런타임 1.3 통합
다음 지침을 사용하여 런타임 1.3을 작업 영역에 통합하고 새 기능을 사용합니다.
Fabric 작업 영역 내의 작업 영역 설정 탭으로 이동합니다.
데이터 엔지니어/과학 탭으로 이동하여 Spark 설정을 선택합니다.
환경 탭을 선택합니다.
런타임 버전에서 드롭다운을 확장합니다.
1.3(Spark 3.5, Delta 3.2)을 선택하고 변경 내용을 저장합니다. 이 작업은 1.3을 작업 영역의 기본 런타임으로 설정합니다.
이제 Fabric 런타임 1.3(Spark 3.5 및 Delta Lake 3.2)에 도입된 최신 개선 사항 및 기능으로 작업을 시작할 수 있습니다.
Apache Spark 3.5에 대해 알아보기
Apache Spark 3.5.0 은 3.x 시리즈의 여섯 번째 버전입니다. 이 버전은 Jira에 기록된 1,300개 이상의 문제를 해결하는 오픈 소스 커뮤니티 내에서 광범위한 공동 작업의 산물입니다.
이 버전에서는 구조화된 스트리밍에 대한 호환성이 업그레이드되었습니다. 또한 이 릴리스는 PySpark 및 SQL 내의 기능을 확장합니다. SQL 식별자 절, SQL 함수 호출의 명명된 인수 및 HyperLogLog 대략적인 집계에 대한 SQL 함수 포함과 같은 기능을 추가합니다.
다른 새로운 기능에는 Python 사용자 정의 테이블 함수, DeepSpeed를 통한 분산 학습 간소화, 워터마크 전파 및 dropDuplicatesWithinWatermark 작업과 같은 새로운 구조적 스트리밍 기능도 포함됩니다.
전체 목록 및 자세한 변경 내용은 Spark 릴리스 3.5.0에서 확인할 수 있습니다.
Delta Spark에 대해 알아보기
Delta Lake 3.2는 Delta Lake를 형식 간에 상호 운용 가능하고, 작업하기 쉽고, 성능이 향상되도록 하기 위한 공동의 노력을 표시합니다. Delta Spark 3.2는 Apache Spark™ 3.5를 기반으로 합니다. Delta Spark maven 아티팩트 이름이 delta-core 에서 delta-spark로 바뀝니다.
여기에서 전체 목록 및 자세한 변경 내용을 https://docs.delta.io/3.2.0/index.html에서 확인할 수 있습니다.
구성 요소 및 라이브러리
최신 정보, 자세한 변경 내용 목록 및 Fabric 런타임에 대한 특정 릴리스 정보는 Spark 런타임 릴리스 및 업데이트를 확인하고 구독 합니다.
비고
EventHubConnector는 패브릭 런타임 1.3(Spark 3.5)에서 더 이상 사용되지 않으며 이후 패브릭 런타임 버전에서 제거됩니다. Event Hubs가 이미 Kafka와 호환되므로 고객은 Kafa Spark 커넥터를 대신 사용하는 것이 좋습니다. Event Hubs에서 Kafa Spark 커넥터를 사용하는 방법에 대한 자세한 내용은 다음을 참조하세요. https://learn.microsoft.com/azure/event-hubs/event-hubs-kafka-spark-tutorial