Databricks Runtime 16.4 LTS (데이터브릭스 런타임 16.4 LTS)

다음 릴리스 정보는 Apache Spark 3.5.2에서 제공하는 Databricks Runtime 16.4 LTS에 대한 정보를 제공합니다.

Databricks는 2025년 5월에 이 LTS 버전을 릴리스했습니다. 이 릴리스에는 Scala 2.12를 지원하는 변형과 Scala 2.13을 지원하는 변형이 2개 있습니다.

DBR 17(Spark 4)부터 Scala 2.13만 지원됩니다. 전환을 돕기 위해 16.4 LTS에서 두 개의 이미지를 사용할 수 있습니다. 하나는 Scala 2.12, 다른 하나는 Scala 2.13입니다. DBR 17로 마이그레이션하기 전에 2.13 이미지를 사용하여 코드 베이스를 Scala 2.13으로 테스트하고 업데이트합니다.

Scala 2.13 마이그레이션 지침

• 다른 모든 기능은 Databricks Runtime 16.4 LTS 릴리스에서 동일합니다.
• 종속성 버전은 Databricks Runtime 16.4 Scala 2.12 이미지와 16.4 Scala 2.13 이미지 간에 다를 수 있습니다. 각 이미지에서 지원되는 라이브러리의 버전은 이 페이지에 아래에 나열되어 있습니다.
• 코드가 Scala 2.13으로 작성되고 실행 파일이 Scala 2.13으로 컴파일되었는지 확인합니다.
• Spark 3.5에 대해 프로젝트를 빌드합니다.

코드에서 R 라이브러리를 sparklyr 사용하는 경우 Scala 2.12를 지원하는 이미지를 대신 사용해야 합니다.

Scala 2.12와 2.13 간의 호환성이 손상되는 변경

주요 변경 사항

Databricks 런타임은 중요한 코드를 변경해야 하는 경우 이를 주요 호환성 손상으로 간주합니다.

• 컬렉션 비호환성: 컬렉션을 Scala 2.13으로 마이그레이션하는 자세한 내용은 이 공식 Scala 문서 페이지를 참조하세요. 코드에서 이전 버전의 Scala 코드를 사용하는 경우 컬렉션은 특히 API 매개 변수 및 반환 형식에서 Databricks를 사용할 때 비호환성의 기본 소스가 됩니다.

• 해시 알고리즘: Scala 2.12를 사용하여 빌드된 코드를 검토할 때는 순서를 보장하지 않는 데이터 구조의 암시적 순서(예: HashMap 및 Set)를 사용하지 마세요. 암시적 순서 지정을 수행하는 컬렉션은 반복할 때 2.13(vs. 2.12)에서 실행할 때 해당 요소를 다르게 정렬할 수 있습니다.

사소한 기능 중단 변경 사항

Databricks 런타임은 버전 변경으로 인해 발생한 특정 오류 메시지가 없는 경우 호환성이 손상되는 변경 사소한 것으로 간주하지만 코드는 일반적으로 버전에서 컴파일되지 않습니다. 이 경우 오류 메시지는 코드를 업데이트하기에 충분한 정보를 제공할 수 있습니다.

• 더 엄격한 형식 유추: 2.13을 사용하여 Scala 2.12용으로 개발된 코드를 컴파일하는 경우 컴파일러는 형식 또는 힌트를 형식 모호성을 유추할 수 없다고 보고할 수 있습니다. 변수에 데이터 형식을 명시적으로 주석으로 추가하면 종종 이 문제가 해결됩니다.
• 특정 구문 제거: Scala 2.13에서는 작은따옴표 문자열 리터럴, + 왼쪽에 있는 비String 형식과 함께 사용할 때 문자열 연결 연산자, 후위 연산자(점 표기법 대신 사용)와 같은 일부 구문이 사용되지 않습니다. 자세한 내용은 다음을 참조하세요. Scala는 공식 Scala 문서에서 기능을 삭제했습니다.
• 출력 메시지: REPL에서 반환된 메시지에 대한 텍스트 결과는 Scala 2.12와 2.13 간에 다를 수 있습니다. 불일치는 구문 또는 계산이 잘못됨을 의미하지는 않습니다. 오히려 메시지는 문제 또는 컨텍스트를 다르게 설명하거나 다른 표현 형식으로 표시합니다. 예를 들어 f: Foo = Foo(1)가 일부 메시지에서 f: Foo = Foo(i = 1)로 변경될 수 있습니다.

Databricks Runtime 16.4 LTS의 각 Scala 버전에서 지원하는 라이브러리 버전 목록입니다.

• DBR 16.4 LTS Scala 2.12 라이브러리
• DBR 16.4 LTS Scala 2.13 라이브러리

새로운 기능 및 개선 사항

• 대시보드, 경고 및 쿼리는 작업 영역 파일로 지원됩니다.
• 액체 클러스터링 자동 압축 향상
• 이제 자동 로더가 원본 디렉터리에서 처리된 파일을 정리할 수 있습니다.
• 델타 테이블에서 스트리밍을 위해 추가된 형식 확장 지원
• IDENTIFIER 이제 카탈로그 작업을 위해 DBSQL에서 지원을 사용할 수 있습니다.
• 통합된 표현식은 이제 자동 생성된 임시 별칭을 제공합니다.
• Python 데이터 원본에 필터 푸시다운 API 지원 추가
• Python UDF 트레이스백 개선
• 뷰 EXECUTE IMMEDIATE 내에서 UNION/EXCEPT/INTERSECT를 사용하고 올바른 결과를 반환합니다.
• 데이터 소스 캐시된 플랜 구성 파일 및 마이그레이션 가이드
• 새 listagg 기능 및 string_agg 함수
• MERGE INTO 전용 컴퓨팅에서 세분화된 액세스 제어가 있는 테이블에 대한 지원은 이제 GA(일반 공급)

대시보드, 경고 및 쿼리는 작업 영역 파일로 지원됩니다.

이제 대시보드, 경고 및 쿼리가 작업 영역 파일로 지원됩니다. 이제 작업 영역 파일 시스템을 사용할 수 있는 모든 위치에서 이러한 Databricks 개체와 프로그래밍 방식으로 상호 작용할 수 있습니다(다른 파일처럼 작성, 읽기 및 삭제 포함). 자세한 내용은 작업 영역 파일이란? 을 참조하고 프로그래밍 방식으로 작업 영역 파일과 상호 작용합니다.

액체 클러스터링 자동 압축 개선

Unity 카탈로그 관리형 액체 클러스터링 테이블은 이제 자동 압축을 트리거하여 실행 간에 OPTIMIZE 작은 파일 문제를 자동으로 줄입니다.

자세한 내용은 Azure Databricks의 Delta Lake 자동 압축을 참조하세요.

이제 자동 로더가 원본 디렉터리에서 처리된 파일을 정리할 수 있습니다.

이제 고객은 자동 로더에게 처리된 파일을 자동으로 이동하거나 삭제하도록 지시할 수 있습니다. 자동 로더 옵션을 사용하여 이 기능에 참여합니다 cloudFiles.cleanSource.

자세한 내용은 아래 의 자동 로더 옵션을 참조하세요 cloudFiles.cleanSource.

델타 테이블에서 스트리밍을 위해 추가된 형식 확장 지원

이 릴리스에서는 형식 확장 열 데이터가 있는 Delta 테이블에서 스트리밍을 지원하고 Databricks-to-Databricks Delta Sharing를 사용하여 형식 확장이 활성화된 Delta 테이블을 공유하도록 지원합니다. 형식 확대 기능은 현재 공개 미리 보기로 제공됩니다.

자세한 내용은 형식 확대를 참조하세요.

IDENTIFIER 이제 카탈로그 작업을 위해 DBSQL에서 지원을 사용할 수 있습니다.

이제 Azure Databricks 고객은 다음 카탈로그 작업을 수행할 때 IDENTIFIER 절을 사용할 수 있습니다.

• CREATE CATALOG
• DROP CATALOG
• COMMENT ON CATALOG
• ALTER CATALOG

이 새로운 구문을 통해 고객은 이러한 작업에 정의된 매개 변수를 사용하여 카탈로그 이름을 동적으로 지정하여 보다 유연하고 재사용 가능한 SQL 워크플로를 사용할 수 있습니다. 예를 들어, 구문에서는 CREATE CATALOG IDENTIFIER(:param)가 param을 사용하여 카탈로그 이름을 지정하는 매개 변수로 제공됩니다.

더 자세한 내용은 IDENTIFIER 절을 참조하세요.

정렬된 표현은 이제 자동 생성된 임시 별칭을 제공합니다.

정렬된 식의 별칭은 이제 항상 COLLATE 정보를 결정적으로 통합하여 자동으로 생성됩니다. 자동 생성된 별칭은 일시적이며(불안정) 의존해서는 안 됩니다. 대신, 모범 사례로 일관되고 명시적으로 사용합니다 expression AS alias .

Python 데이터 원본에 필터 푸시다운 API 지원 추가

Databricks Runtime 16.4 LTS에서 Azure Databricks는 인터페이스와 유사한 SupportsPushDownFilters API로 읽은 Python 데이터 원본 일괄 처리에 대한 필터 푸시다운 지원을 추가했습니다. 이제 DataSourceReader.pushFilters를 구현하여 푸시다운될 수 있는 필터를 수신할 수 있습니다. 이 API를 구현하여 푸시다운할 필터를 선택하고 추적하며 Apache Spark에서 애플리케이션에 대한 나머지 필터를 반환하는 논리를 제공할 수도 있습니다.

필터 푸시다운을 사용하면 데이터 원본이 필터의 하위 집합을 처리할 수 있습니다. 이렇게 하면 Spark에서 처리해야 하는 데이터의 양을 줄여 성능을 향상시킬 수 있습니다.

필터 푸시다운은 스트리밍 읽기가 아니라 일괄 처리 읽기에 대해서만 지원됩니다. 새 API는 DataSourceReader에 추가해야 하며, DataSource 및 DataSourceStreamReader에는 추가하지 않아야 합니다. 필터의 목록은 구현에서 요소들의 논리적 AND로 해석해야 합니다. 이 메서드는 쿼리 계획 중에 한 번 호출됩니다. 기본 구현에서는 필터를 푸시다운할 수 없음을 나타내는 모든 필터를 반환합니다. 서브클래스를 사용하여 이 메서드를 재정의하고 필터 푸시다운에 대한 논리를 구현합니다.

처음에는 API를 단순하게 유지하기 위해 Azure Databricks는 열, 부울 연산자 및 리터럴 값이 있는 V1 필터만 지원합니다. 필터 직렬화는 임시 조치이며 향후 Pull Request에서 구현될 예정입니다. 다음은 그 예입니다.

class DataSourceReader(ABC):

  ...
  def pushFilters(self, filters: List["Filter"]) -> Iterable["Filter"]:

Azure Databricks는 데이터베이스 및 GraphQL API와 같은 필터링을 기본적으로 지원하는 데이터 원본에 대해서만 이 메서드를 구현하는 것이 좋습니다.

Python UDF 트레이스백 개선

이제 Python UDF 추적은 클라이언트 프레임과 함께 드라이버와 실행기 모두의 프레임을 포함하므로 UDF 내 프레임의 줄 내용과 같이 더 크고 관련성이 높은 세부 정보를 표시하는 더 나은 오류 메시지가 생성됩니다.

뷰 내에서 UNION/EXCEPT/INTERSECT를 사용하면 이제 올바른 결과를 반환합니다.

키워드가 별칭으로 간주되었기 때문에UNION/EXCEPT/INTERSECT 최상위 및UNION/EXCEPT/INTERSECT 별칭이 지정되지 않은 열이 있는 임시 및 영구 뷰 정의에 대한 쿼리는 이전에 잘못된 결과를 반환했습니다. 이제 이러한 쿼리는 전체 집합 작업을 올바르게 수행합니다.

EXECUTE IMMEDIATE ... INTO최상위 UNION/EXCEPT/INTERSECT 및 별칭이 지정되지 않은 열이 있는 경우 이러한 키워드를 별칭으로 해석하는 파서로 인해 지정된 변수에 set 연산의 잘못된 결과가 작성되었습니다. 마찬가지로 꼬리 텍스트가 잘못된 SQL 쿼리도 허용되었습니다. 이러한 경우 작업 설정은 이제 지정된 변수에 올바른 결과를 쓰거나 SQL 텍스트가 잘못된 경우 실패합니다.

데이터 원본 캐시된 계획 구성 및 마이그레이션 가이드

DBR 16.4.0부터 파일 원본 테이블에서 읽는 것은 쿼리 옵션(예: 구분 기호)을 올바르게 준수합니다. 이전에는 첫 번째 쿼리 계획이 캐시되었고 후속 옵션 변경 내용이 무시되었습니다. 이전 동작을 복원하려면 spark.sql.legacy.readFileSourceTableCacheIgnoreOptionstrue설정합니다.

새 listagg 기능 및 string_agg 함수

이 릴리스부터는 listagg 또는 string_agg 기능을 사용하여 그룹 내에서 STRING 및 BINARY 값을 집계할 수 있습니다. 자세한 내용은 string_agg 참조하세요.

MERGE INTO 전용 컴퓨팅에서 세분화된 액세스 제어가 있는 테이블에 대한 지원은 이제 GA(일반 공급)

Databricks Runtime 16.3 이상에서, 전용 컴퓨팅은 세분화된 액세스 제어를 사용하는 Unity 카탈로그 테이블에 대해 MERGE INTO를 지원합니다. 이 기능은 이제 일반 공급됩니다.

전용 컴퓨팅에서 세분화된 액세스 제어를 참조하세요.

DBR 16.4 LTS 동작 변경

• 델타 테이블: "DESCRIBE DETAIL 테이블"이 이제 테이블의 clusterByAuto 상태를 표시합니다.
• 데이터 원본 캐시된 계획에 대한 옵션을 준수하도록 수정
• 분석기에서 최적화 프로그램으로 편집 규칙 이동
• variant_get 및 get_json_object는 이제 Apache Spark 경로의 선행 공백을 고려합니다.
• MERGE 작업에 대한 원본 구체화 비활성화를 허용하지 않도록 플래그 활성화
• 파티션 메타데이터 로그 사용 앵커를 테이블로 이동
• snowflake-jdbc 3.16.1 -> 3.22.0 업데이트
• DBR 16.2 및 16.3에서 Json4를 4.0.7에서 3.7.0-M11로 다운그레이드

델타 테이블: "DESCRIBE DETAIL 테이블"이 이제 테이블의 clusterByAuto 상태를 표시합니다.

DESCRIBE DETAIL {table} 이제 현재 클러스터링 열 옆에 있는 테이블의 상태(true 또는 false)가 표시됩니다 clusterByAuto . 자세한 내용은 clusterByAuto자동 액체 클러스터링을 참조하세요.

데이터 원본 캐시된 계획에 대한 옵션을 준수하도록 수정

이 업데이트는 모든 데이터 원본 계획에 설정된 옵션이 데이터가 캐시될 때 존중되며, 캐시된 첫 번째 테이블 읽기뿐만 아니라 모든 테이블 읽기가 그 옵션을 준수하도록 합니다.

이전에는 데이터 원본 테이블 읽기가 첫 번째 계획을 캐시했지만 후속 쿼리에서 다른 옵션을 고려하지 못했습니다.

예를 들어, 다음과 같은 쿼리가 있습니다.

spark.sql("CREATE TABLE t(a string, b string) USING CSV".stripMargin)
spark.sql("INSERT INTO TABLE t VALUES ('a;b', 'c')")

spark.sql("SELECT * FROM t").show()
spark.sql("SELECT * FROM t WITH ('delimiter' = ';')")

는 다음 출력을 생성합니다.

+----+----+
|col1|col2|
+----+----+
| a;b| c  |
+----+----+

+----+----+
|col1|col2|
+----+----+
| a;b| c  |
+----+----+

이 수정을 사용하면 이제 예상 출력을 반환합니다.

+----+----+
|col1|col2|
+----+----+
| a;b| c  |
+----+----+

+----+----+
|col1|col2|
+----+----+
| a  | b,c|
+----+----+

워크로드에 이전의 잘못된 동작에 대한 종속성이 있는 경우 이 변경 후 다른 결과가 나타날 수 있습니다.

분석기에서 최적화 프로그램으로 편집 규칙 이동

이전에는 유효한 SECRET SQL 함수를 사용할 때 DataFrames에서 수정된 값이 포함된 테이블을 만들 수 있었습니다. 이렇게 변경하면 테이블에 대한 유효한 비밀 액세스 권한이 있는 DataFrames를 저장할 때 수정이 제거되고 편집 규칙이 분석기에서 최적화 프로그램으로 이동되었습니다.

variant_get 및 get_json_object가 이제 Apache Spark 경로의 앞부분 공백을 고려합니다.

이 변경 이전에는 Photon이 비활성화된 상태에서 variant_get 및 get_json_object 표현식의 경로에 있는 선행 공백과 탭이 무시되었습니다. 예를 들어, select get_json_object('{" key": "value"}', '$[' key']')는 " key"의 가치를 추출하는 데 효과적이지 않을 것입니다. 그러나 사용자는 이러한 키를 추출할 수 있습니다.

MERGE 작업에서 원본 구체화 비활성을 허용하지 않도록 플래그 활성화

이전에는 사용자가 MERGE에서 merge.materializeSource을(를) none로 설정하여 원본 구체화를 사용하지 않도록 할 수 있었습니다. 새 플래그를 사용하도록 설정하면 사용할 수 없으며 오류가 발생합니다. Databricks는 이전에 이 구성 플래그를 사용하지 않은 고객에 대해서만 플래그를 사용하도록 설정할 계획이므로 고객은 동작이 변경된 것을 알 수 없습니다.

파티션 메타데이터 로그 활성화 앵커를 테이블로 이동

테이블이 spark.databricks.nonDelta.partitionLog.enabled = true와 함께 생성되면 클러스터가 처리하는 모든 테이블에 대해 spark.databricks.nonDelta.partitionLog.enabled = true을 설정하지 않도록 그 테이블에 고정할 수 있도록 파티션 메타데이터 로그 기능이 변경되었습니다.

snowflake-jdbc 3.16.1 -> 3.22.0 업데이트

종속성을 snowflake-jdbc 3.16.1에서 3.22.0으로 업데이트했습니다. 이는 사용자가 l3.16.1 버전의 라이브러리를 직접 사용하는 경우 영향을 미칠 수 있습니다.

DBR 16.2 및 16.3에서 Json4를 4.0.7에서 3.7.0-M11로 다운그레이드

Json4s 버전 3.7.0-M11과 버전 4.0.7 간의 API 동작이 크게 불일치하므로 고객은 동일한 애플리케이션에서 databricks-connect 16.1+ 및 Apache Spark™ 3.5.x를 함께 사용할 수 없습니다. 이 문제를 해결하기 위해 Azure Databricks는 Json4를 3.7.0-M11로 다운그레이드했습니다.

라이브러리 업그레이드(Scala 2.12 이미지에만 적용됨)

• 업그레이드된 R 라이브러리:
  • sparklyr from 1.8.4 to 1.8.6(Databricks Runtime 16.4 LTS 릴리스의 Scala 2.12 이미지에만 적용됨)
• 업그레이드된 Java 라이브러리:
  • io.delta.delta-sharing-client_2.12가 1.2.3에서 1.2.4로
  • org.json4s.json4s-ast_2.12에서 4.0.7에서 3.7.0-M11로
  • org.json4s.json4s-core_2.12에서 4.0.7에서 3.7.0-M11로
  • org.json4s.json4s-jackson_2.12에서 버전 4.0.7에서 3.7.0-M11로 변경됨
  • org.json4s.json4s-scalap_2.12에서 4.0.7~ 3.7.0-M11

Scala 2.13 Databricks 런타임 릴리스는 "새" 버전으로 간주되며 2.12와 다른 라이브러리 버전이 있을 수 있습니다. 해당 릴리스 이미지의 특정 라이브러리 버전은 아래 표를 참조하세요. 이 릴리스에는 sparklyr가 포함되어 있지 않습니다.

Apache Spark

Databricks Runtime 16.4 LTS에는 Apache Spark 3.5.2가 포함됩니다. 이 릴리스에는 Databricks Runtime 16.3에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

• [SPARK-51206] [PYTHON][connect] Spark Connect에서 화살표 변환 도우미 이동
• [SPARK-51566] [PYTHON] Python UDF 추적 복구 개선
• [SPARK-51675] [SS] 필요하지 않은 경우 스냅샷 생성을 방지하기 위해 로컬 DB를 연 후 컬럼 패밀리 생성 방법 수정
• [SPARK-50892] [SQL]재귀 쿼리 실행을 수행하기 위해 재귀를 위한 물리 연산자인 UnionLoopExec를 추가합니다.
• [SPARK-51670] [SQL] 인터섹트 및 엑셉트를 유니온 예제를 활용하여 단일 패스 분석기에서 재사용할 수 있도록 리팩터링하기
• [SPARK-47895] [BEHAVE-266][sql] 별칭별 그룹은 idempotent여야 합니다.
• [SPARK-51614] [SQL] 분석기에서 ResolveUnresolvedHaving 규칙 소개
• [SPARK-51662] [SQL] OrcFileFormat을 비교할 수 있도록 설정
• [SPARK-51374] "[CORE] 로깅 API에서 java.util.Map 사용으로 전환" 되돌리기
• [SPARK-51652] [SQL] SetOperation 계산을 리팩터링하여 단일 패스 분석기에서 다시 사용
• [SPARK-51622] [UI] ExecutionPage의 제목 지정 섹션
• [SPARK-51586] [SS] 연속 모드에서 열 형식 지원과 독립적으로 입력 파티션 초기화
• [SPARK-51070] [SQL] ValidateExternalType에서 설정 대신 사용 scala.collection.Set
• [SPARK-51559] [SQL] 최대 브로드캐스트 테이블 크기를 구성할 수 있도록 설정
• [SPARK-51496] [SQL] CaseInsensitiveStringMap 비교는 대소문자를 무시해야 합니다.
• [SPARK-50416] [CORE] bin/load-spark-env.sh에 더 휴대성이 높은 터미널/파이프 테스트가 필요합니다.
• [SPARK-51509] [CORE][ui] 환경 페이지 지원 필터 만들기 Spark Master
• [SPARK-51374] [CORE] 로깅 API에서 java.util.Map 사용으로 전환
• [SPARK-50820] [SQL] DSv2: DML의 메타데이터 열 조건부 무효화
• [SPARK-48922] [SQL] 지도 형식에 대해 동일한 식의 중복 배열 변환 방지
• [SPARK-51446] [SQL] 압축 코덱에 대한 codecNameMap 개선
• [SPARK-51341] [CORE] 적절한 방법으로 시간 작업을 취소합니다.
• [SPARK-51452] [UI] 스레드 덤프 테이블 검색 개선
• [SPARK-51444] [CORE] 접근할 수 없는 if 분기 제거 TaskSchedulerImpl#statusUpdate에서
• [SPARK-51401] [SQL] 직접 호출로 변경 ExplainUtils.generateFieldStringQueryPlan.generateFieldString
• [SPARK-49507] [SQL] metastorePartitionPruningFastFallback을 사용하도록 설정한 후 사례 문제 해결
• [SPARK-51506] [PYTHON][ss] TransformWithStateInPandas에서 close()를 구현하도록 사용자를 강제 적용하지 마세요.
• [SPARK-51624] [SQL] CreateNamedStruct.dataType에서 GetStructField 메타데이터 전파
• [SPARK-51201] [SQL] 분할 힌트가 바이트 및 짧은 값의 지원을 가능하게 하기
• [SPARK-51186] [PYTHON] PySpark 기본 예외에 추가 StreamingPythonRunnerInitializationException
• [SPARK-50286] [SQL] SQL 옵션을 WriteBuilder에 올바르게 전파
• [SPARK-51616] [SQL] ResolveAliases 및 ResolveAggregateFunctions 전에 CollationTypeCasts 실행
• [SPARK-51023] [CORE] RPC 예외 시 원격 주소를 로그 기록
• [SPARK-51087] [PYTHON][연결] 메모리 프로파일링을 위해 메모리 프로파일러가 설치되지 않은 경우 경고 발생
• [SPARK-51073] [SQL] Unstable 특성에서 SparkSessionExtensionsProvider 제거
• [SPARK-51471] [SS] RatePerMicroBatchStream - startOffset의 오프셋/타임스탬프가 endOffset보다 크면 ASSERT 오류를 분류합니다.
• [SPARK-51062] [PYTHON] assertSchemaEqual을 수정하여 소수의 정밀도와 스케일을 비교
• [SPARK-51612] [SQL] Desc As Json에서 뷰 생성 시 설정된 Spark confs 표시
• [SPARK-51573] [SS] 스트리밍 상태 체크포인트 v2 checkpointInfo 경쟁 상태 수정
• [SPARK-51252] [SS] HDFS 상태 저장소에서 마지막으로 업로드한 스냅샷 버전에 대한 인스턴스 메트릭 추가
• [SPARK-51552] [SQL] 식별자 아래에 있을 때 지속형 뷰에서 임시 변수를 허용하지 않습니다.
• [SPARK-51625] [SQL] CTE 관계의 명령이 인라인으로 트리거되어야 합니다.
• [SPARK-51584] [SQL] Project를 Offset과 Suite를 통해 푸시하는 규칙 추가 및 테스트하기
• [SPARK-51593] [SQL] 인스턴스화 리팩터링하기
• [SPARK-49082] [SQL] Avro 판독기에서 Date를 TimestampNTZ로 확대 지원
• [SPARK-50220] [PYTHON] PySpark에서 listagg 지원
• [SPARK-51581] [CORE][sql] 명시적 빈 검사에 사용 nonEmpty/isEmptyIterable
• [SPARK-42746] [SQL] listagg를 사용하는 새 예외에 대한 오류 클래스 분류 수정
• [SPARK-51580] [SQL] 람다 함수가 적절하지 않은 경우 적절한 사용자 친화적 오류 메시지를 표시합니다 HigherOrderFunction
• [SPARK-51589] [SQL] | 에서 집계 함수를 확인하지 못하는 작은 버그 수정>SELECT
• [SPARK-50821] [PYTHON] Py4J를 0.10.9.8에서 0.10.9.9로 업그레이드
• [SPARK-42746] [SQL] LISTAGG 함수 구현
• [SPARK-48399] [SQL] Teradata: ByteType은 BYTE(binary) 대신 BYTEINT에 매핑되어야 합니다.
• [SPARK-43221] [CORE] 호스트 로컬 블록 페치는 디스크에 저장된 블록의 블록 상태를 사용해야 합니다.
• [SPARK-51467] [UI] 환경 페이지의 테이블을 필터링할 수 있도록 설정
• [SPARK-51569] [SQL] 형식 변경 내용이 없는 경우 다시 시작 InSubqueryInTypeCoercion 하지 마세요.
• [SPARK-51280] [CONNECT] RESPONSE_ALREADY_RECEIVED 오류 클래스 개선
• [SPARK-51525] [SQL] Desc As JSON StringType에 대한 코레이션 필드
• [SPARK-51565] [SQL] 창 프레임 절에서 SQL 매개 변수 지원
• [SPARK-51544] [SQL] 고유하고 필요한 메타데이터 열만 추가
• [SPARK-49349] [SQL] Generate를 사용하여 LCA에 대한 오류 메시지 개선
• [SPARK-51418] [SQL] Hive 형식 호환되지 않는 파티션 열을 사용하여 DataSource PARTITON TABLE 수정
• [SPARK-51269] [SQL] defaultCompressionLevel을 제거하여 AvroCompressionCodec 간소화
• [SPARK-50618] [SS][sql] DataFrameReader 및 DataStreamReader에서 분석기를 더 많이 활용합니다.
• [SPARK-51097] [SS] RocksDB 상태 저장소의 마지막으로 업로드된 스냅샷 버전 인스턴스 메트릭 다시 도입
• [SPARK-51321] [SQL] PostgresDialect 및 MsSQLServerDialect 식 푸시다운에 대한 rpad 및 lpad 지원 추가
• [SPARK-51428] [BEHAVE-264][sql] 정렬된 표현 트리에 대한 별칭을 확정적으로 다시 할당
• [SPARK-51528] [SQL] ProtobufCatalystDataConversionSuite에서 해시 코드를 직접 비교하지 마세요.
• [SPARK-51443] [SS] DSv2 및 readStream에서 singleVariantColumn을 수정합니다.
• [SPARK-51397] [SS] 긴 테스트 시간을 발생시키는 유지 관리 풀 종료 처리 문제 수정
• [SPARK-51522] [SQL] 단일 패스 분석기에서 레이지 유니언 자식 테스트를 비활성화하기
• [SPARK-51079] [Fix-forward] pandas UDF, createDataFrame 및 toPandas에서 큰 변수 유형을 Arrow로 지원합니다.
• [SPARK-51112] [ES-1348599][connect] 빈 테이블에 pyarrow를 to_pandas 사용하지 마세요.
• [SPARK-51438] [SQL] CatalystDataToProtobuf 및 ProtobufDataToCatalyst를 적절하게 비교하고 해시할 수 있도록 합니다.
• [SPARK-50855] [DBR16.x][ss][CONNECT] Scala의 TransformWithState에 대한 Spark Connect 지원
• [SPARK-51208] [SQL] ColumnDefinition.toV1Column 해상도를 유지해야 합니다.
• [SPARK-51468] [SQL] 되돌리기 "json/xml에서 지정된 스키마의 데이터 정렬을 변경해서는 안 됩니다."
• [SPARK-51453] [SQL] AssertTrue는 simpleString 대신 toPrettySQL을 사용합니다.
• [SPARK-51409] [SS] 변경 로그 작성기 만들기 경로에 오류 분류 추가
• [SPARK-51440] [SS]는 null 토픽 필드 값이 kafka 메시지 데이터에 있고 토픽 옵션이 없는 경우 NPE를 분류합니다.
• [SPARK-51425] [연결] 클라이언트 API를 추가하여 사용자 지정 설정 operation_id
• [SPARK-50652] [SS] RocksDB V2 이전 버전과의 호환성에 검사 추가
• [SPARK-49164] [SQL] JDBC Relation의 SQL 쿼리 조건자에서 NullSafeEqual을 수정하지 않음
• [SPARK-50880] [SQL] V2ExpressionSQLBuilder에 새 visitBinaryComparison 메서드 추가
• [SPARK-50838] [SQL]재귀 CTE 내에서 추가 검사를 수행하여 금지된 사례가 발생할 경우 오류를 발생시킵니다.
• [SPARK-51307] [SQL] catalogStorageFormat의 locationUri는 표시를 위해 디코딩되어야 합니다.
• [SPARK-51079] [PYTHON] pandas UDF, createDataFrame 및 toPandas에서 화살표가 있는 큰 변수 형식 지원
• [SPARK-50792] [SQL] JDBC에서 이진 데이터 형식을 이진 리터럴로 지정합니다.

Databricks ODBC/JDBC 드라이버 지원

Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 여기에서 최근에 릴리스된 드라이버를 다운로드합니다.

• Databricks ODBC 드라이버 다운로드
• Databricks JDBC 드라이버 다운로드

시스템 환경

• 운영 체제: Ubuntu 24.04.2 LTS.
  • 참고: Databricks 런타임 컨테이너에서 사용하는 Ubuntu 버전입니다. Databricks 런타임 컨테이너는 다른 Ubuntu 버전 또는 Linux 배포를 사용할 수 있는 클라우드 공급자의 가상 머신에서 실행됩니다.
• Java: Zulu17.54+21-CA
• Scala: 2.12.15 또는 2.13.10
• Python: 3.12.3
• R: 4.4.0
• 델타 레이크: 3.3.1

설치된 Python 라이브러리

설치된 R 라이브러리

R 라이브러리는 2024-08-04에 Posit 패키지 관리자 CRAN 스냅샷에서 설치됩니다.

설치된 Java 및 Scala 라이브러리(Scala 2.13 클러스터 버전)

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)