Databricks Runtime 13.3 LTS

다음 릴리스 정보는 Apache Spark 3.4.1에서 제공하는 Databricks Runtime 13.3 LTS에 대한 정보를 제공합니다.

Databricks는 2023년 8월에 이 버전을 릴리스했습니다.

새로운 기능 및 향상 기능

• 공유 클러스터에 대한 Scala 지원
• Unity 카탈로그 표준 클러스터(이전의 공유 클러스터)의 init 스크립트, JAR 및 Maven 좌표에 대한 허용 목록은 공개 미리 보기로 제공됩니다.
• init 스크립트 및 JAR에 대한 볼륨 지원 공개 미리 보기
• Delta Lake 작업에 대해 기본적으로 사용하도록 설정된 안전한 캐스트
• Unity 카탈로그 태그 소개
• 쿼리 계획과 호출 사이에 파일이 수정되면 Databricks Runtime에서 오류를 반환합니다.
• 동적 파티션 덮어쓰기를 사용할 때 스키마 덮어쓰기 차단
• copyFile API를 dbutils.fs.cp에 통합
• Databricks ODBC/JDBC 드라이버 지원
• 명명되지 않은(위치) 매개 변수 표식 지원
• 시계열 열 레이블 지정 가능
• 새 비트맵 SQL 함수
• 향상된 암호화 함수
• 대한 Unity 카탈로그 지원
• 이름별 INSERT
• 델타 공유와 함께 구체화된 뷰 공유하기

공유 클러스터에 대한 Scala 지원

이제 Unity 카탈로그 사용 공유 클러스터는 Databricks Runtime 13.3 이상을 사용할 때 Scala를 지원합니다.

Unity 카탈로그 표준 클러스터(이전의 공유 클러스터)의 init 스크립트, JAR 및 Maven 좌표에 대한 허용 목록은 공개 미리 보기로 제공됩니다.

이제 Databricks Runtime 13.3 이상이 실행되는 표준 액세스 모드 컴퓨팅에서 Unity 카탈로그 allowlist를 사용하여 init 스크립트, JAR 및 Maven 좌표 설치를 제어할 수 있습니다. 표준 액세스 모드(이전의 공유 액세스 모드)의 컴퓨팅에서 허용 리스트 라이브러리 및 초기화 스크립트를 참조하세요.

init 스크립트 및 JAR에 대한 볼륨 지원은 공개 미리 보기로 제공됩니다.

이제 Unity 카탈로그 볼륨을 사용하여 Databricks Runtime 13.3 이상을 실행하는 전용 또는 표준 액세스 모드를 사용하여 컴퓨팅에 init 스크립트 및 JAR을 저장할 수 있습니다. Init 스크립트를 설치할 수 있는 위치 및 컴퓨팅 범위 라이브러리를 참조하세요.

Delta Lake 작업에 대해 기본적으로 사용하도록 설정된 안전한 캐스트

이제 델타 UPDATE 및 MERGE 작업으로 인해 값이 대상 테이블 스키마의 형식으로 안전하게 캐스팅될 수 없는 경우 오류가 발생합니다. 이제 spark.sql.storeAssignmentPolicyspark.sql.ansi.enabled델타의 모든 암시적 캐스트는 . Databricks 런타임에서 ANSI 규정 준수를 참조 하세요.

Unity 카탈로그를 사용하여 태그 소개

Databricks Runtime 13.3 LTS 이상을 사용하면 보안 개체에 태그를 적용할 수 있습니다. 태그를 사용하면 보안 개체를 구성하고 데이터 자산의 검색 및 검색을 간소화할 수 있습니다. Unity Catalog 보안 개체에 태그 적용을 참조하세요.

쿼리 계획과 호출 사이에 파일이 수정되면 Databricks Runtime에서 오류를 반환합니다.

이제 쿼리 계획과 호출 사이에 파일이 업데이트되면 Databricks 런타임 쿼리가 오류를 반환합니다. 이 변경 전에 Databricks 런타임은 이러한 단계 간에 파일을 읽어 들이는데, 이로 인해 때때로 예측할 수 없는 결과가 발생합니다.

동적 파티션 덮어쓰기를 사용할 때 스키마 덮어쓰기 차단

Delta Lake의 동적 파티션 덮어쓰기와 함께 overwriteSchema를 true로 지정할 수 없습니다. 이를 통해 스키마 불일치로 인한 테이블 손상을 방지할 수 있습니다. 동적 파티션 덮어쓰기참조하세요.

copyFile API를 dbutils.fs.cp에 통합

이제 더 빠른 복사를 위해 dbutils 복사 명령 dbutils.fs.cp 이 최적화되었습니다. 이 향상된 기능을 사용하면 파일 크기에 따라 복사 작업이 최대 100배 더 빨라질 수 있습니다. 이 기능은 Unity 카탈로그 볼륨 및 Databricks 파일 시스템 탑재를 포함하여 Azure Databricks에서 액세스할 수 있는 모든 파일 시스템에서 사용할 수 있습니다.

Databricks ODBC/JDBC 드라이버 지원

Azure Databricks는 지난 2년 동안 릴리스된 ODBC 및 JDBC 드라이버를 지원합니다. ODBC 드라이버 다운로드 및 JDBC 드라이버 다운로드에서 최신 드라이버를 다운로드합니다.

명명되지 않은(위치) 매개 변수 표식 지원

이제 API는 SparkSession.sql() 구문을 사용하는 매개 변수가 있는 쿼리 외에도 구문을 사용하여 ?:parm 매개 변수가 있는 쿼리를 지원합니다. 매개 변수 표식을 참조 하세요.

시계열 열 레이블 지정 활성화

이제 기본 키 제약 조건을(를) 만들 때 시계열 열에 레이블을 지정할 수 있습니다.

새 비트맵 SQL 함수

이제 Azure Databricks는 정수 숫자 값을 비트맵에 매핑하고 집계하는 데 사용할 수 있는 함수 집합을 제공했습니다. 고유 값의 수를 미리 계산하는 데 사용할 수 있습니다.

• bitmap_bit_position
• 비트맵_버킷_번호
• bitmap_construct_agg
• bitmap_count
• bitmap_or_agg

향상된 암호화 함수

IV(초기화 벡터) 및 인증된 추가 데이터(AAD)를 지원하여 aes_encrypt, aes_decrypt 및 try_aes_decrypt 함수가 개선되었습니다.

REFRESH FOREIGN 대한 Unity 카탈로그 지원

이제 REFRESH FOREIGN CATALOG, REFRESH FOREIGN SCHEMA및 REFRESH FOREIGN TABLE를 사용하여 Unity 카탈로그의 외부 카탈로그, 스키마 및 테이블을 업데이트할 수 있습니다. REFRESH FOREIGN(CATALOG, SCHEMA및 TABLE)참조하세요.

이름별 INSERT

테이블에 행을 삽입할 때 이제 Azure Databricks가 원본 쿼리의 열과 필드를 해당 이름으로 테이블의 열에 자동으로 매핑하도록 할 수 있습니다. INSERT into참조하세요.

델타 공유를 사용하여 구체화된 뷰를 공유

이제 ALTER SHARE 문은 구체화된 뷰를 지원합니다.

호환성이 손상되는 변경

MERGE INTO 및 UPDATE을 사용하여 테이블에 행을 저장할 때의 암시적 캐스팅 변경 사항

이제 Azure Databricks는 테이블에 행을 저장할 때 암시적 캐스팅에 대한 구성 spark.sql.storeAssignmentPolicy 따릅니다. 기본값 ANSI은 오버플로 값을 저장할 때 오류를 발생시킵니다. 이전에는 값이 기본적으로 NULL으로 저장되었습니다.

다음 예제와 같이 오류를 일으키는 열에 더 넓은 형식을 사용하도록 테이블을 다시 작성하여 오버플로를 해결할 수 있습니다.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Parquet 스키마 유추의 변경 사항

Spark에서 작성되지 않은 Parquet 파일에서 스키마를 유추할 때 int64 타임스탬프 열이 isAdjustedToUTC=false으로 주석 처리되어 있을 경우, 이제 기본적으로 TIMESTAMP_NTZ 형식으로 설정됩니다. 이전에는 이러한 형식을 형식으로 TIMESTAMP 유추했습니다. 이 업데이트는 Parquet 형식을 Spark SQL 형식에 매핑하는 정확도를 향상시킵니다.

따라서 외부 Parquet 파일에서 데이터를 델타 테이블로 읽으면 timestampNtz 기능이 활성화되어 있지 않은 경우 오류가 발생할 수 있습니다. 오류는 다음과 같이 표시됩니다.

Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.

이전 동작을 유지하고 이 오류를 방지하려면 Spark 구성 매개 변수 spark.sql.parquet.inferTimestampNTZ.enabledfalse설정할 수 있습니다.

라이브러리 업그레이드

• 업그레이드된 Python 라이브러리:
  • debugpy from 1.5.1 to 1.6.0
  • distlib에서 0.3.6에서 0.3.7로
  • fastjsonschema 2.16.3에서 2.18.0으로
  • filelock 버전 3.12.0에서 3.12.2로 업데이트
• 업그레이드된 R 라이브러리:
  • SparkR 3.4.0에서 3.4.1로
• 업그레이드된 Java 라이브러리:
  • org.apache.orc.orc-core에서 1.8.3-shaded-protobuf에서 1.8.4-shaded-protobuf로
  • org.apache.orc.orc-mapreduce 버전을 1.8.3-shaded-protobuf에서 1.8.4-shaded-protobuf로 변경
  • org.apache.orc.orc-shims 버전 1.8.3에서 1.8.4로
  • org.eclipse.jetty.jetty-client의 버전을 9.4.50.v20221201에서 9.4.51.v20230217로 변경합니다.
  • org.eclipse.jetty.jetty-continuation from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.jetty-http 9.4.50.v20221201에서 9.4.51.v20230217까지
  • org.eclipse.jetty.jetty-io 패키지 버전이 9.4.50.v20221201에서 9.4.51.v20230217로 업데이트되었습니다.
  • org.eclipse.jetty.jetty-jndi 9.4.50.v20221201에서 9.4.51.v20230217로
  • org.eclipse.jetty.jetty-plus 9.4.50.v20221201에서 9.4.51.v20230217로
  • org.eclipse.jetty.jetty-proxy 버전을 9.4.50.v20221201에서 9.4.51.v20230217로 업그레이드.
  • org.eclipse.jetty.jetty-security, 버전 9.4.50.v20221201에서 9.4.51.v20230217로 변경
  • org.eclipse.jetty.jetty-server 9.4.50.v20221201에서 9.4.51.v20230217로 업데이트
  • org.eclipse.jetty.jetty-servlet 버전 9.4.50.v20221201에서 9.4.51.v20230217로
  • org.eclipse.jetty.jetty-servlets 버전이 9.4.50.v20221201에서 9.4.51.v20230217로 업데이트됩니다.
  • org.eclipse.jetty.jetty-util 9.4.50.v20221201에서 9.4.51.v20230217로
  • org.eclipse.jetty.jetty-util-ajax 버전 9.4.50.v20221201에서 9.4.51.v20230217로 이동
  • org.eclipse.jetty.jetty-webapp 버전 9.4.50.v20221201에서 9.4.51.v20230217로 수정되었습니다.
  • org.eclipse.jetty.jetty-xml 9.4.50.v20221201에서 9.4.51.v20230217로
  • org.eclipse.jetty.websocket.websocket-api 버전 9.4.50.v20221201에서 9.4.51.v20230217로 업데이트됩니다.
  • org.eclipse.jetty.websocket.websocket-client from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-common 9.4.50.v20221201에서 9.4.51.v20230217로
  • org.eclipse.jetty.websocket.websocket-server from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-servlet from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.xerial.snappy.snappy-java에서 1.1.8.4에서 1.1.10.1로

Apache Spark

Databricks Runtime 13.3에는 Apache Spark 3.4.1이 포함됩니다. 이 릴리스에는 Databricks Runtime 13.2(EoS)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

• 이제 Spark-snowflake 커넥터 v2.12.0을 사용하도록 클러스터 환경 변수 SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 설정할 수 있습니다.
• [SPARK-43380] [DBRRM-383] "[SC-133100][sql] Avro 데이터 형식 변환 수정 작업 되돌리기"
• [SPARK-44504] [Backport][13.2][13.x][13.3] 공급자 언로드로 인해 DB 인스턴스를 강제로 닫고 유지 관리 작업 오류에 대한 리소스를 해제합니다.
• [SPARK-44059] [SC-137023] 기본 제공 함수에 대한 명명된 인수의 분석기 지원 추가
• [SPARK-44485] [SC-137653][sql] TreeNode.generateTreeString을 최적화하다
• [SPARK-42944] [SC-137164][ss][PYTHON] Python 스트리밍에서의 ForeachBatch 처리
• [SPARK-44446] [SC-136994][python] 예상 목록 유형 특수 사례에 대한 검사 추가
• [SPARK-44439] [SC-136973][connect][SS]client에 ID만 다시 보내도록 listListeners 수정
• [SPARK-44216] [SC-136941] [PYTHON] assertSchemaEqual API 공개
• [SPARK-44201] [SC-136778][connect][SS]Spark Connect용 Scala에서 스트리밍 수신기에 대한 지원 추가
• [SPARK-43915] [SC-134766][sql] 오류 클래스 LEGACY_ERROR_TEMP이름 할당 [2438-2445]
• [SPARK-43798] "[SC-133990][sql][PYTHON] Python 사용자 정의 테이블 함수 지원" 되돌림
• [SPARK-44398] [SC-136720][connect] Scala foreachBatch API
• [SPARK-44476] [SC-137169][core][CONNECT] 관련된 아티팩트가 없는 JobArtifactState에 대한 아티팩트 업데이트 문제 해결
• [SPARK-44269] [SC-135817][sql] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[2310-2314]
• [SPARK-44395] [SC-136744][sql] 키워드 뒤 TABLE 식별자 주위에 괄호가 필요하도록 TVF 인수 업데이트
• [SPARK-43915] [SC-134766][sql] 오류 클래스 LEGACY_ERROR_TEMP이름 할당 [2438-2445]
• [SPARK-43995] [SC-136794][spark-43996][CONNECT] Connect Scala 클라이언트에 UDFRegistration에 대한 지원 추가
• [SPARK-44109] [SC-134755][core] 각 RDD 파티션의 중복 기본 설정 위치 제거
• [SPARK-44169] [SC-135497][sql] 오류 클래스 LEGACY_ERROR_TEMP이름 할당 [2300-2304]
• [SPARK-41487] [SC-135636][sql] _LEGACY_ERROR_TEMP_1020 이름 할당
• [SPARK-44398] [SC-136720][connect] Scala foreachBatch API
• [SPARK-44153] [SC-134977][core][UI] Heap Histogram 탭에서 Executors 열 지원
• [SPARK-44044] [SC-135695][ss] 스트리밍을 사용하여 창 함수에 대한 오류 메시지 개선
• [SPARK-43914] [SC-135414][sql] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[2433-2437]
• [SPARK-44217] [SC-136805][python] fp 약 같음의 사용자 지정 정밀도 허용
• [SPARK-44370] [SC-136575][connect] Buf 원격 생성 알파를 원격 플러그 인으로 마이그레이션
• [SPARK-44410] [SC-136930][python][CONNECT] getOrCreate뿐만 아니라 세션 생성 시 활성 세션 설정
• [SPARK-44348] [SAS-1910][sc-136644][13.X][core][CONNECT][python] 관련된 변경 사항과 함께 test_artifact를 다시 활성화하다
• 실행 준비가 되면 [SPARK-44145] [SC-136698][sql] 콜백을.
• [SPARK-44264] [SC-136870][python][ML] FunctionPickler 클래스
• [SPARK-43986] [SC-135623][sql] HyperLogLog 함수 호출 실패에 대한 오류 클래스 만들기
• [SPARK-44139] [SC-134967][sql] 그룹 기반 MERGE 작업에서 완전히 푸시다운된 필터를 삭제합니다.
• [SPARK-44338] [SC-136718][sql] 뷰 스키마 불일치 오류 메시지 수정
• [SPARK-44208] [SC-135505][core][SQL] 예외를 직접 사용하는 일부 논리에 대해 명확한 오류 클래스 이름 할당
• [SPARK-44364] [SC-136773] [PYTHON] 예상된 목록[행] 데이터 형식에 대한 지원 추가
• [SPARK-44180] [SC-136792][sql] DistributionAndOrderingUtils가 ResolveTimeZone을 적용해야 합니다.
• [SPARK-43389] [SC-136772][sql] lineSep 옵션에 대한 null 검사가 추가됨
• [SPARK-44388] [SC-136695][connect] UDF 인스턴스가 업데이트되면 protobuf 캐스트 문제 해결
• [SPARK-44352] [SC-136373][connect] DataType에 sameType 및 friend를 다시 배치합니다.
• [SPARK-43975] [SC-134265][sql] DataSource V2: 그룹 기반 원본에 대한 명령 처리 UPDATE
• [SPARK-44360] [SC-136461][sql] 델타 기반 MERGE 작업에서 스키마 정리 지원
• [SPARK-44138] [SC-134907][sql] MERGE 조건에서 비결정적 식, 하위 쿼리 및 집계 금지
• [SPARK-43321] [SC-136678][connect][후속 작업] Scala 클라이언트 joinWith에 사용되는 API에 대한 더 나은 이름
• [SPARK-44263] [SC-136447][connect] 사용자 지정 인터셉터 지원
• [SPARK-39851] [SC-123383][sql] 한쪽이 고유성을 유지할 수 있는 경우 조인 통계 예측 개선
• [SPARK-44390] [SC-136677][core][SQL] 이름 바꾸기 SparkSerDerseUtilsSparkSerDeUtils
• [SPARK-44004] [SC-134751][sql] 이름을 할당하고 빈번한 레거시 오류에 대한 오류 메시지를 개선합니다.
• [SPARK-44322] [SC-136204][connect] 파서가 SQLConf 대신 SqlApiConf를 사용하도록 합니다.
• [SPARK-44271] [SC-136347][sql] 기본값 함수를 StructType에서 ResolveDefaultColumns로 이동
• [SPARK-44332] [SC-136413][core][WEBUI] 실행기 UI 페이지에서 실행기 ID 열의 정렬 오류 수정
• [SPARK-44282] [SC-135948][connect] Spark Connect Scala 클라이언트에서 사용할 데이터 유형 구문 분석 준비
• [SPARK-44349] [SC-136581][r] SparkR에 수학 함수 추가
• [SPARK-44397] [SC-136647][python] pyspark.testing.utils에서 assertDataFrameEqual 노출
• [SPARK-42981] [SC-136620][connect] 직접 화살표 직렬화 추가
• [SPARK-44373] [SC-136577][sql] 구문 분석기 관련 구성이 작동하도록 하는 구문 분석 논리를 통해 Dataset API를 withActive로 래핑합니다.
• [SPARK-44340] [SC-136574][sql] PartitionEvaluator API를 통해 컴퓨팅 논리를 정의하고 WindowGroupLimitExec에서 사용합니다.
• [SPARK-43665] [SC-136573][connect][PS] PandasSQLStringFormatter.vformat을 사용하도록 설정하여 Spark Connect 사용
• [SPARK-44325] [SC-136572][sql] SortMergeJoinExec에서 PartitionEvaluator API 사용
• [SPARK-44315] [SC-136171][sql][CONNECT] DefinedByConstructorParams를 sql/api로 이동
• [SPARK-44275] [SC-136184][connect] Scala Spark Connect에 구성 가능한 재시도 메커니즘 추가
• [SPARK-44326] [SC-136208][sql][CONNECT] Scala 클라이언트에서 공통 모듈로 사용되는 유틸리티 이동
• [SPARK-43321] [SC-136156][connect] Dataset#Joinwith
• [SPARK-44343] [SC-136372][connect] SQL/API로 이동하도록 ScalaReflection 준비
• [SPARK-44313] [SC-136081][sql] 스키마에 char/varchar 열이 있을 때 생성된 열 식 유효성 검사 수정
• [SPARK-43963] [SC-134145][sql] DataSource V2: 그룹 기반 원본에 대한 MERGE 명령 처리
• [SPARK-44363] [SC-136433] [PYTHON] DataFrame 비교에서 같지 않은 행의 백분율 표시
• [SPARK-44251] [SC-136432][sql] 전체 외부 USING 조인에서 병합된 조인 키를 올바르게 nullable로 설정
• [SPARK-43948] [SC-133366][sql] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[0050|0057|0058|0059]
• [SPARK-44329] [SC-136326][connect][PYTHON] Scala 및 Python에 hll_sketch_agg, hll_union_agg, to_varchar, try_aes_decrypt 추가
• [SPARK-44351] [SC-136353][sql] 구문 단순화
• [SPARK-44281] [SC-135963][sql] DataType에서 사용하는 쿼리 컴파일 오류를 DataTypeErrors로 sql/api로 이동
• [SPARK-44283] [SC-136109][연결] 원본을 SQL/API로 이동
• [SPARK-43926] [SC-135590][connect][PYTHON] Scala 및 Python에 array_agg, array_size, 카디널리티, count_min_sketch, mask, named_struct, json* 추가
• [SPARK-44327] [SC-136187][sql][CONNECT] any 및 len 함수를 Scala에 추가했습니다.
• [SPARK-44290] [SC-136300][connect] Spark Connect의 세션 기반 파일 및 보관 파일
• [SPARK-44061] [SC-136299][python] assertDataFrameEqual util 함수 추가
• [SPARK-44331] [SC-136324][connect][PYTHON] Scala 및 Python에 비트맵 함수 추가
• [SPARK-44342] [SC-136334][sql] SQLContext를 GenTPCDSData용 SparkSession으로 바꾸기
• [SPARK-42583] [SC-124190][sql] 모두 고유한 집계 함수인 경우 외부 조인을 제거합니다.
• [SPARK-44333] [SC-136206][connect][SQL] ParserUtils에서 EnhancedLogicalPlan 이동
• [SPARK-43824] [SC-132655][spark-43825] [SQL] 오류 클래스 _LEGACY_ERROR_TEMP_128 이름 할당[1-2]
• [SPARK-43939] [SC-134602][connect][PYTHON] Scala 및 Python에 try_* 함수 추가
• [SPARK-44193] [SC-135886][connect] 변환을 위한 GRPC 예외 차단 구현
• [SPARK-44284] [SC-136107][connect] sql/api용 간단한 conf 시스템 만들기
• [SPARK-43913] [SC-133368][sql] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[2426-2432]
• [SPARK-44291] "[SC-135924][spark-43416][CONNECT] 범위 쿼리에 대한 잘못된 스키마 수정을 되돌리기"
• [SPARK-44312] [SC-136185][connect][PYTHON] 환경 변수를 사용하여 사용자 에이전트를 설정할 수 있습니다.
• [SPARK-44154] [SC-136060] 비트맵 함수 구현
• [SPARK-43885] [SC-133996][sql] DataSource V2: 델타 기반 원본에 대한 MERGE 명령 처리
• [SPARK-43924] [SC-135161][connect][PYTHON] Scala 및 Python에 misc 함수 추가
• [SPARK-43969] [SC-134556][sql] 리팩터링 및 오류 클래스에 이름 할당 _LEGACY_ERROR_TEMP_1170
• [SPARK-44185] [SC-135730][sql] 카탈로그와 데이터 작업 간에 일관되지 않은 경로 한정 수정
• [SPARK-44073] [SC-134562][sql][PYTHON][connect] Scala, Python 및 Connect에 날짜 시간 함수 추가 - 2부
• [SPARK-43942] [SC-134527][connect][PYTHON] Scala 및 Python에 문자열 함수 추가 - 1부
• [SPARK-44266] [SC-135813][sql] Util.truncatedString을 sql/api로 이동
• [SPARK-44195] [SC-135722][r] SparkR SparkContext에 JobTag API 추가
• [SPARK-44200] [SC-135736][sql] TableValuedFunction에 대한 인수 파서 규칙 지원 TABLE
• [SPARK-44254] [SC-135709][sql] DataType에서 사용하는 QueryExecutionErrors를 DataTypeErrors로 sql/api로 이동
• [SPARK-44291] [SC-135924][spark-43416][CONNECT] 범위 쿼리에 대한 잘못된 스키마 수정
• [SPARK-43922] [SC-135612][sql] 함수 호출에 대한 파서에 명명된 매개 변수 지원 추가
• [SPARK-44300] [SC-135882][connect] 삭제 범위를 세션별 아티팩트로 제한하도록 아티팩트 정리 수정
• [SPARK-44293] [SC-135849][connect] Spark Connect에서 사용자 지정 JAR에 대한 잘못된 URI 수정
• [SPARK-44215] [SC-135850][셔플] 청크 수가 0이면 서버가 RuntimeException을 발생시켜야 합니다.
• [SPARK-44245] [SC-135851][python] pyspark.sql.dataframe sample() doctests는 설명 전용이어야 합니다.
• [SPARK-44274] [SC-135814][connect] ArtifactManager에서 사용하는 util 함수를 일반/유틸리티로 이동
• [SPARK-44194] [SC-135815][python][CORE] PySpark SparkContext에 JobTag API 추가
• [SPARK-42828] [SC-135733][python][SQL] GroupedData에 대한 더 명시적인 Python 형식 주석
• [SPARK-44079] [SC-135486][sql] 손상된 레코드가 있는 경우 PERMISSIVE 모드를 사용하여 배열을 구조체로 구문 분석할 때의 문제 수정 ArrayIndexOutOfBoundsException
• [SPARK-44255] [SC-135809][sql] StorageLevel을 일반/유틸리티로 재배치
• [SPARK-42169] [SC-135795] [SQL] to_csv 함수에 대한 코드 생성 구현(StructsToCsv)
• [SPARK-44249] [SC-135719][sql][PYTHON] PythonUDTFRunner를 리팩터링하여 반환 형식을 별도로 보냅니다.
• [SPARK-43353] [SC-132734][python] 나머지 세션 오류를 오류 클래스로 마이그레이션
• [SPARK-44211] [SC-135718][python][CONNECT] SparkSession.is_stopped 함수 구현
• [SPARK-42784] [SC-135691]은 병합 dir의 subDir 수가 conf보다 작은 경우에도 subDir을 만들어야 합니다.
• [SPARK-41599] [SC-135616] InProcessLauncher를 사용하여 클러스터를 보호하기 위해 앱을 제출할 때 FileSystem.CACHE의 메모리 누수
• [SPARK-44241] [SC-135613][core] 실수로 io.connectionTimeout/connectionCreationTimeout을 0 또는 음수로 설정하면 끊임없는 실행기 단점/소멸이 발생합니다.
• [SPARK-44133] [SC-134795][13.x][PYTHON] MyPy를 0.920에서 0.982로 업그레이드
• [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - JSON 형식의 이벤트 Serde
• [SPARK-44188] [SC-135173][core] resetAllPartitions 내의 쓸모없는 메소드를 제거합니다 ActiveJob
• [SPARK-43757] [SC-135418][connect] 클라이언트 호환성을 허용 목록에서 거부 목록으로 변경
• [SPARK-43474] [SC-135521] [SS] [CONNECT] ID별로 런타임 데이터 프레임에 Spark 연결 액세스를 추가합니다.
• [SPARK-44183] [SC-135209][python] 최소 버전을 4.0.0으로 만들기 PyArrow
• [SPARK-44248] [SC-135554][ss][SQL][kafka] kafka 원본 v2에서 기본 설정 위치 추가
• [SPARK-43929] [SC-134510][sql][PYTHON][connect] Scala, Python 및 Connect API에 날짜 시간 함수 추가 - 1부
• [SPARK-44161] [SC-135326][connect] UDF에 대한 행 입력 처리
• [SPARK-44227] [SC-135520][sql] StructField에서 SchemaUtils 추출
• [SPARK-44064] [SC-135116][core][SQL] 에 새 apply 함수 추가 NonFateSharingCache
• [SPARK-44171] [SC-135269][sql] 오류 클래스에 이름 할당 LEGACY_ERROR_TEMP[2279-2282] 사용되지 않는 일부 오류 클래스 삭제
• [SPARK-44056] [SC-134758][sql] 사용 가능한 경우 UDF 실행 실패 오류 메시지에 UDF 이름 포함
• [SPARK-44205] [SC-135422][sql] DecimalType에서 촉매 코드 추출
• [SPARK-44220] [SC-135484][sql] StringConcat을 sql/api로 이동
• [SPARK-44146] [SC-135230][connect] Spark Connect 세션 jar 및 클래스 파일 격리
• [SPARK-44206] [SC-135411][sql] DataSet.selectExpr scope Session.active
• [SPARK-40850] [SC-135417][sql] 해석된 쿼리가 테스트 사례에서 예상치 않게 Codegen을 실행할 수 있는 문제 수정
• [SPARK-44204] [SC-135253][sql][HIVE] getPartitionNames에 대한 누락된 recordHiveCall 추가
• [SPARK-44237] [SC-135485][core] DirectByteBuffer 생성자 조회 논리 간소화
• [SPARK-44189] [SC-135170][connect][PYTHON] 위치 매개변수를 지원하기 위해 sql()
• [SPARK-44140] [SC-134893][sql][PYTHON] Python에서 위치 매개 변수 지원 sql()
• [SPARK-44164] [SC-135158][sql] StructField에서 Util 클래스로 toAttribute 메서드 추출
• [SPARK-44178] [SC-135113][connect] 에서 위치 매개 변수 지원 sql()
• [SPARK-43208] [SC-128955][sql][HIVE] IsolatedClassLoader는 읽은 후 Barrier 클래스 InputStream을 닫아야 합니다.
• [SPARK-43063] [SC-128382][sql] df.show 핸들 null은 null 대신 NULL을 인쇄해야 합니다.
• [SPARK-42539] [SC-124464][sql][HIVE] 메타데이터 클라이언트에 'builtin' Hive 버전을 사용할 때 별도의 클래스 로더 제거
• [SPARK-43992] [SC-133645][sql][PYTHON][connect] Catalog.listFunctions에 대한 선택적 패턴 추가
• [SPARK-44066] [SC-134878][sql] Scala/Java에서 위치 매개 변수 지원 sql()
• [SPARK-44078] [SC-134869][connect][CORE] 클래스 로더/리소스 격리에 대한 지원 추가
• [SPARK-43470] [SC-135187][core] 애플리케이션 로그에 OS, Java, Python 버전 정보 추가
• [SPARK-43136] [SC-135238][connect][후속 작업] KeyA에 대한 테스트 추가
• [SPARK-39740] [SC-135093][ui]: 비스 타임라인을 7.7.2로 업그레이드하여 CVE-2020-28487 수정
• [SPARK-42298] [SC-133952][sql] _LEGACY_ERROR_TEMP_2132 이름 할당
• [SPARK-43961] [SC-133459][sql][PYTHON][connect] Catalog.listTables에 대한 선택적 패턴 추가
• [SPARK-44026] [SC-135181] SQLMetrics에 대한 초기 값 제공 허용
• [SPARK-44202] [SC-135244][core] JavaSparkContext에 JobTag API 추가
• [SPARK-44030] [SC-135237][sql] 표현식에서 Unapply를 제공하기 위한 DataTypeExpression 구현
• [SPARK-43876] 되돌리기 "[SC-134603][sql] 고유 쿼리에 대해 빠른 해시맵 사용"
• [SPARK-40082] [SC-126437] 밀어넣기 병합 shuffleMapStage 재시도하지만 실행 중인 작업이 없을 때 mergeFinalize 예약
• [SPARK-43888] [SC-132893][core] 로깅을 일반/유틸리티로 재배치
• [SPARK-43474] [SC-134400] [SS] [CONNECT] SparkConnectPlanner에 SessionHolder 추가
• [SPARK-43944] [SC-134490][connect][PYTHON] Scala 및 Python에 문자열 함수 추가 - 2부
• [SPARK-44134] [SC-134954][core] spark-defaults.conf에서 설정된 경우 리소스 설정(GPU/FPGA)을 0으로 수정
• [SPARK-44142] [SC-134947][python] python 형식을 spark 형식으로 변환하도록 유틸리티의 tpe 형식으로 바꾸기
• [SPARK-43952] [SC-134695][core][CONNECT][sql] 태그별 쿼리 취소를 위한 SparkContext API 추가
• [SPARK-44000] [SC-133634][sql] 조인의 한쪽 브로드캐스트 및 복제를 사용하지 않도록 설정하는 힌트 추가
• [SPARK-43937] [SC-134362][connect][PYTHON] Ifnull, isnotnull,equal_null,nullif,nvl,nvl2를 Scala 및 Python에 추가
• [SPARK-43624] [13.x][sc-134557][PS][connect] SparkConnectPlanner에 추가 EWM 합니다.
• [SPARK-44040] [SC-134366][sql] AggregateExec 노드가 QueryStageExec 위에 있을 때 컴퓨팅 통계 수정
• [SPARK-43485] [SC-131264][sql] datetime add/diff 함수의 인수에 대한 unit 오류 메시지 수정
• [SPARK-43794] [SC-132561][sql] 오류 클래스 _LEGACY_ERROR_TEMP_1335 이름 할당
• [SPARK-43511] [SC-134749][connect][SS]Spark Connect용 MapGroupsWithState 및 FlatMapGroupsWithState API 구현
• [SPARK-43529] [SQL] CREATE/REPLACE TABLE OPTIONS 식 지원 + 코드 정리
• [SPARK-44106] [SC-134750][python][CONNECT] __repr__를 GroupedData에 추가하다.
• [SPARK-42299] [SC-133190] _LEGACY_ERROR_TEMP_2206 이름 할당
• [SPARK-43290] [SC-134388][sql] aes_encrypt EV 및 AAD에 대한 지원 추가
• [SPARK-43932] [SC-134138][sql][PYTHON][connect] Scala 및 Python에 like 함수 추가 current
• [SPARK-43934] [SC-134108][sql][PYTHON][connect] Scala 및 Python에 regexp_* 함수 추가
• [SPARK-44107] [SC-134746][connect][PYTHON] 자동 완성에서 지원되지 않는 열 메서드 숨기기
• [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - JSON 형식의 이벤트 Serde
• [SPARK-43773] [SC-132659][connect][PYTHON] python 클라이언트에서 'levenshtein(str1, str2[, threshold])' 함수 구현
• [SPARK-44125] [SC-134745][r] SparkR에서 Java 21 지원
• [SPARK-43919] [SC-133374][sql] 행에서 JSON 기능 추출
• [SPARK-43769] [SC-132520][connect] 'levenshtein(str1, str2[, threshold])' 함수 구현
• [SPARK-44012] [SC-134662][ss] KafkaDataConsumer를 사용하여 일부 읽기 상태 인쇄
• [SPARK-43876] [SC-134603][sql] 고유 쿼리에 대해 빠른 해시맵 사용
• [SPARK-44024] [SC-134497][sql] 단일 요소를 추출하는 데만 사용할 때 map 사용하도록 unzip 변경
• [SPARK-43928] [SC-134467][sql][PYTHON][connect] Scala, Python 및 Connect API에 비트 작업 추가
• [SPARK-44092] [SC-134506][core] Java 21을 사용하여 모듈 패스 추가 Utils.isJavaVersionAtLeast21 및 만들기 core
• [SPARK-44018] [SC-134512][sql] 일부 DS V2 식에 대한 해시 코드 및 toString 개선
• [SPARK-44105] [SC-134582][sql] LastNonNull 을 지연 해결해야 합니다.
• [SPARK-44081] [SC-134434] PartitionedFileUtil API 약간 간소화
• [SPARK-43791] [SC-132531][sql] 오류 클래스 _LEGACY_ERROR_TEMP_1336 이름 할당
• [SPARK-44071] [SC-134435] 미해결 정의 및 사용[리프|단항]노드 특성입니다.
• [SPARK-43852] [SC-132890][spark-43853][SPARK-43854][spark-43855][SPARK-43856] 오류 클래스 _LEGACY_ERROR_TEMP_2418-2425에 이름 할당
• [SPARK-43742] [SC-132684][sql] 기본 열 값 해상도 리팩터링
• [SPARK-43493] [SC-132063][sql] levenshtein() 함수에 최대 거리 인수 추가
• [SPARK-44075] [SC-134382][연결] 지연 처리 transformStatCorr
• [SPARK-43925] [SC-134381][sql][PYTHON][connect] Scala, Python 및 Connect에 bool_or, bool_and, every 일부 함수 추가
• [SPARK-43931] [SC-134158][sql][PYTHON][connect] Scala 및 Python에 make_* 함수 추가
• [SPARK-43762] [SC-132602][spark-43763][SPARK-43764][spark-43765][SPARK-43766][sql] 오류 클래스에 이름 할당 _LEGACY_ERROR_TEMP_24[06-10]
• [SPARK-43962] [SC-133367][sql] 오류 메시지 개선: CANNOT_DECODE_URL, CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE, CANNOT_PARSE_DECIMAL, CANNOT_READ_FILE_FOOTERCANNOT_RECOGNIZE_HIVE_TYPE.
• [SPARK-43938] [SC-133887][connect][PYTHON] Scala 및 Python에 to_* 함수 추가
• [SPARK-44055] [SC-134321][core] 중복 override 함수 제거 CheckpointRDD
• [SPARK-43802] [SC-132597][sql] failOnError=true를 사용하여 unhex 및 unbase64에 대한 codegen 수정
• [SPARK-43798] [SC-133990][sql][PYTHON] Python 사용자 정의 테이블 함수 지원
• [SPARK-43941] [SC-134286][sql][PYTHON][connect] Scala, Python 및 Connect API에 any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value, reduce를 추가.
• [SPARK-43380] [SC-133100][sql] 잘못된 결과를 생성하지 않도록 Avro 데이터 형식 변환 문제 해결
• [SPARK-43803] [SC-133729] [SS] [CONNECT] 클라이언트 연결 끊기를 처리하도록 awaitTermination()을 개선합니다.
• [SPARK-43179] [SC-129070][순서 섞기] 앱이 외부 순서 섞기 서비스에 의해 해당 메타데이터가 db에 저장되는지 여부를 제어할 수 있도록 허용

Databricks ODBC/JDBC 드라이버 지원

Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 출시된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).

Databricks Runtime 13.3 유지 관리 업데이트를 참조 하세요.

시스템 환경

• 운영 체제: Ubuntu 22.04.2 LTS
  • 참고: Databricks 런타임 컨테이너에서 사용하는 Ubuntu 버전입니다. DBR 컨테이너는 다른 Ubuntu 버전 또는 Linux 배포를 사용할 수 있는 클라우드 공급자의 가상 머신에서 실행됩니다.
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• 델타 레이크: 2.4.0

설치된 Python 라이브러리

설치된 R 라이브러리

R 라이브러리는 2023-02-10 https://packagemanager.posit.co/cran/__linux__/jammy/2023-02-10/의 Posit 패키지 관리자 CRAN 스냅샷에서 설치됩니다.

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)