Databricks Runtime 17.0

다음 릴리스 정보는 Apache Spark 4.0.0에서 제공하는 Databricks Runtime 17.0에 대한 정보를 제공합니다.

Databricks는 2025년 6월에 이 버전을 릴리스했습니다.

새로운 기능 및 개선 사항

• 표준 컴퓨팅에 대한 Spark ML 지원
• SQL 프로시저 지원
• SQL Functions에 대한 기본 데이터 정렬 설정
• rCTE(재귀 공통 테이블 식) 지원
• 기본적으로 사용하도록 설정된 ANSI SQL
• PySpark 및 Spark Connect는 이제 DataFrames API를 지원합니다 df.mergeInto .
• SCHEMAS의 ALL CATALOGS 지원 SHOW
• 액체 클러스터링이 이제 삭제 벡터를 보다 효율적으로 압축합니다.
• 비결정적 식을 UPDATE/INSERT 열 값에서 MERGE 작업에 허용
• AutoLoader 수집(특히 Avro)을 위한 빈 구조체를 무시하고 처리하기
• 단위 대신 DataFrame을 반환하도록 Delta MERGE Python 및 Scala API 변경
• SQL 변수 선언 및 삭제를 위한 VAR 키워드 지원
• Apache Parquet 라이브러리 업그레이드
• Google Cloud Pub/Sub에 대한 워크로드 ID 페더레이션 지원

표준 컴퓨팅에 대한 Spark ML 지원

표준 액세스 모드(이전의 공유 액세스 모드)는 이제 PySpark(pyspark.ml)의 Spark ML과 Spark용 MLflow(mlflow.spark)를 지원합니다. 하이퍼 매개 변수 튜닝의 경우 Databricks는 표준 컴퓨팅에서 Optuna 및 Joblib Spark를 사용하는 것이 좋습니다.

SQL 프로시저 지원

이제 SQL 스크립트를 Unity 카탈로그에서 재사용 가능한 자산으로 저장된 프로시저에 캡슐화할 수 있습니다. CREATE PROCEDURE 명령을 사용하여 프로시저를 만든 다음 CALL 명령을 사용하여 프로시저를 호출할 수 있습니다.

SQL Functions에 대한 기본 데이터 정렬 설정

명령에서 새 DEFAULT COLLATION 절을 CREATE FUNCTION 사용하면 함수 본문의 매개 변수, 반환 형식 및 STRING 리터럴에 사용되는 STRING 기본 데이터 정렬을 정의합니다.

rCTE(재귀 공통 테이블 식) 지원

이제 Azure Databricks는 rCTE(재귀 공통 테이블 식)를 사용하여 계층적 데이터의 탐색을 지원합니다. 재귀 관계를 따르려면 자체 참조 CTE UNION ALL 를 사용합니다.

기본적으로 사용하도록 설정된 ANSI SQL

기본 SQL 언어는 이제 ANSI SQL입니다. ANSI SQL은 잘 설정된 표준이며 예기치 않거나 잘못된 결과로부터 사용자를 보호하는 데 도움이 됩니다. 자세한 내용은 Databricks ANSI 사용 가이드 를 참조하세요.

PySpark 및 Spark Connect는 이제 DataFrames API를 지원합니다 df.mergeInto .

PySpark 및 Spark Connect는 이제 이전에 Scala에만 사용할 수 있었던 API를 지원 df.mergeInto 합니다.

ALL CATALOGS에 대한 SHOW SCHEMAS 지원

구문은 SHOW SCHEMAS 다음 구문을 적용하도록 업데이트됩니다.

SHOW SCHEMAS [ { FROM | IN } { catalog_name | ALL CATALOGS } ] [ [ LIKE ] pattern ]

쿼리에 ALL CATALOGS 지정된 경우 SHOW 실행은 카탈로그 관리자(DsV2)를 사용하여 네임스페이스를 지원하는 모든 활성 카탈로그를 반복합니다. 각 카탈로그에 대해 최상위 네임스페이스가 포함됩니다.

명령의 출력 특성 및 스키마는 해당 네임스페이스의 카탈로그를 catalog 나타내는 열을 추가하도록 수정되었습니다. 새 열은 아래와 같이 출력 특성의 끝에 추가됩니다.

이전 출력

| Namespace        |
|------------------|
| test-namespace-1 |
| test-namespace-2 |

새 출력

| Namespace        | Catalog        |
|------------------|----------------|
| test-namespace-1 | test-catalog-1 |
| test-namespace-2 | test-catalog-2 |

액체 클러스터링이 이제 삭제 벡터를 보다 효율적으로 압축합니다.

이제 Liquid 클러스터링이 있는 델타 테이블은 실행 중일 때 OPTIMIZE 삭제 벡터의 물리적 변경 내용을 보다 효율적으로 적용합니다. 자세한 내용은 Parquet 데이터 파일에 변경 내용 적용을 참조하세요.

UPDATE / INSERT 열 값에서 MERGE 작업에 비결정적 식을 허용합니다.

Azure Databricks를 사용하여 MERGE 작업에서 업데이트되거나 삽입된 열 값에 비결정적 식을 사용할 수 있게 되었습니다. 그러나 MERGE 조건문의 비결정적 표현식은 지원되지 않습니다.

예를 들어 이제 열에 대한 동적 또는 임의 값을 생성할 수 있습니다.

MERGE INTO target USING source
ON target.key = source.key
WHEN MATCHED THEN UPDATE SET target.value = source.value + rand()

실제 데이터를 흐리면서 데이터 속성(예: 평균 값 또는 기타 계산된 열)을 유지하여 데이터 개인 정보 보호에 유용할 수 있습니다.

AutoLoader 수집을 위한 빈 구조체 무시 및 복구(특히 Avro)

이제 델타 테이블이 빈 형식 데이터의 수집을 지원하지 않으므로 자동 로더는 빈 struct스키마를 사용하여 Avro 데이터 형식을 복구합니다.

단위 대신 DataFrame을 반환하도록 Delta MERGE Python 및 Scala API 변경

Scala 및 Python MERGE API(예: DeltaMergeBuilder)도 이제 동일한 결과를 사용하여 SQL API와 같은 DataFrame을 반환합니다.

SQL 변수 선언 및 삭제를 위한 VAR 키워드 지원

변수를 선언하고 삭제하기 위한 SQL 구문은 이제 키워드 외에도 VAR지원합니다VARIABLE. 이 변경은 모든 변수 관련 작업에서 구문을 통합하여 일관성을 향상시키고 변수를 설정할 때 이미 사용하는 VAR 사용자의 혼동을 줄입니다.

Apache Parquet 라이브러리 업그레이드

Apache Parquet 라이브러리는 Spark 4.0과의 호환성을 보장하기 위해 버전 1.13.1에서 1.15.1로 업그레이드되었습니다. 이 업데이트에는 다음 모듈에서 성능 향상, 버그 수정 및 향상된 Parquet 기능 지원이 포함됩니다.

• 파케트 컬럼
• 파케-커먼 (parquet-common)
• 파케트 인코딩
• 파켓 형식 구조
• 파켓-하둡 (parquet-hadoop)
• 파케-잭슨

Google Cloud Pub/Sub에 대한 워크로드 ID 페더레이션 지원

이제 워크로드 ID 페더레이션을 사용하여 서비스 계정 키를 요구하지 않고 Databricks에서 Google Cloud Pub/Sub에 안전하게 연결할 수 있습니다. 이렇게 하면 Pub/Sub와 통합되는 스트리밍 및 데이터 수집 워크로드에 대한 인증이 간소화됩니다.

동작 변경

• DBFS(Databricks File System) 사용자 지정 CA 인증서는 더 이상 지원되지 않습니다.
• 자동 로더 증분 디렉터리 목록 옵션에 대한 동작 변경
• Spark UI에서 "True cache misses" 섹션이 제거되었습니다.
• Spark UI에서 "캐시 메타데이터 관리자 최대 디스크 사용량" 메트릭이 제거됨
• Spark UI에서 "다시 예약된 캐시 누락 바이트" 섹션이 제거됨
• CREATE VIEW 이제 열 수준 절은 구체화된 뷰에만 적용되는 경우 오류를 발생시킵니다.

DBFS(Databricks File System) 사용자 지정 CA 인증서는 더 이상 지원되지 않습니다.

DBFS 루트 및 DBFS 탑재에서 데이터 스토리지를 더 이상 사용하지 않기 위한 지속적인 노력의 일환으로 DBFS 사용자 지정 CA 인증서는 Databricks Runtime 17.0 이상에서 지원되지 않습니다. 파일 작업에 대한 권장 사항은 Azure Databricks의 파일 작업을 참조하세요.

자동 로더 증분 디렉터리 목록 옵션에 대한 동작 변경

이제 사용되지 않는 자동 로더 cloudFiles.useIncrementalListing 옵션의 값이 기본값 false으로 설정되었습니다. 따라서 이 변경으로 인해 자동 로더가 실행될 때마다 전체 디렉터리 목록을 수행합니다. 이전에는 옵션의 cloudFiles.useIncrementalListing 기본값으로 auto, 자동 로더가 디렉터리에서 증분 목록을 사용할 수 있는지 감지하는 데 최선을 다하도록 지시했습니다.

Databricks는 이 옵션을 사용하지 않도록 권장합니다. 대신 파일 이벤트와 함께 파일 알림 모드를 사용합니다. 증분 목록 기능을 계속 사용하려면 코드에서 cloudFiles.useIncrementalListing를 auto로 설정합니다. 이 값을 auto설정하면 자동 로더는 7개의 증분 목록에 한 번씩 전체 목록을 만들기 위해 최선을 다합니다. 이는 이 변경 전에 이 옵션의 동작과 일치합니다.

자동 로더 디렉터리 목록에 대한 자세한 내용은 디렉터리 목록 모드가 있는 자동 로더 스트림을 참조하세요.

Spark UI에서 "True cache misses" 섹션이 제거되었습니다.

이렇게 변경하면 압축된 캐시와 압축되지 않은 캐시 모두에 대한 "캐시 true 누락 크기" 메트릭에 대한 지원이 제거됩니다. "캐시 쓰기 누락" 메트릭은 동일한 정보를 측정합니다.

numLocalScanTasks 파일이 올바른 실행자에 할당된 경우 캐시가 어떻게 작동하는지 확인하려는 경우 이 메트릭에 대해 실행 가능한 프록시로 사용합니다.

Spark UI에서 "캐시 메타데이터 관리자 최대 디스크 사용량" 메트릭이 제거됨

이 변경 사항으로 Databricks 런타임 및 Spark UI에서 cacheLocalityMgrDiskUsageInBytes 및 cacheLocalityMgrTimeMs 메트릭에 대한 지원이 제거됩니다.

Spark UI에서 "다시 조정된 캐시 누락 바이트" 섹션이 삭제되었습니다.

DBR에서 캐시 예약된 누락 크기 및 캐시 예약된 누락 크기(압축되지 않은) 메트릭이 제거되었습니다. 이 작업은 기본 설정이 아닌 실행기에 파일을 할당할 때 캐시가 수행하는 방식을 측정하기 때문에 수행됩니다. numNonLocalScanTasks는 이 메트릭에 적합한 프록시입니다.

CREATE VIEW 이제 열 수준 조건문이 구체화된 뷰에만 적용되는 경우에는 오류를 발생시킵니다.

CREATE VIEW 명령 중에서 MATERIALIZED VIEW에만 유효한 열 수준 절을 지정하는 경우 이제 오류가 발생합니다. 명령 CREATE VIEW에 영향을 받는 절은 다음과 같습니다.

• NOT NULL
• 지정된 데이터 형식(예: FLOAT ) STRING
• DEFAULT
• COLUMN MASK

라이브러리 업그레이드

• 업그레이드된 Python 라이브러리:

  • azure-core 1.31.0에서 1.34.0으로
  • 검정 24.4.2에서 24.10.0으로
  • boto3 1.34.69에서 1.36.2로 업데이트
  • botocore 버전을 1.34.69에서 1.36.3으로 업데이트
  • cachetools 5.3.3에서 5.5.1로 업데이트
  • 2024.6.2에서 2025.1.31로 인증
  • cffi가 1.16.0에서 1.17.1로 업데이트됨.
  • charset-normalizer에서 2.0.4에서 3.3.2로
  • cloudpickle 2.2.1에서 3.0.0으로
  • contourpy 1.2.0에서 1.3.1로
  • 42.0.5에서 43.0.3까지의 암호화
  • 3.0.11에서 3.0.12로의 시톤
  • databricks-sdk 0.30.0에서 0.49.0으로
  • 1.6.7에서 1.8.11로 debugpy 업데이트
  • 1.2.14부터 1.2.13까지 사용되지 않음
  • distlib 버전을 0.3.8에서 0.3.9로
  • filelock 버전 3.15.4에서 3.18.0으로
  • fonttools 버전을 4.51.0에서 4.55.3으로 업데이트
  • 3.1.37에서 3.1.43으로 GitPython
  • google-auth 2.35.0 버전에서 2.40.0 버전으로 업데이트
  • google-cloud-core 2.4.1에서 2.4.3으로
  • google-cloud-storage 2.18.2에서 3.1.0으로
  • 1.6.0에서 1.7.1로 google-crc32c
  • grpcio 버전을 1.60.0에서 1.67.0으로
  • grpcio-status 1.60.0에서 1.67.0으로
  • importlib-metadata 6.0.0에서 6.6.0으로
  • ipyflow-core 0.0.201에서 0.0.209로
  • ipykernel 6.28.0에서 6.29.5로
  • ipython을 8.25.0에서 8.30.0으로
  • ipywidgets 7.7.2에서 7.8.1로
  • 제다이 0.19.1 버전에서 0.19.2 버전으로
  • jupyter_client 8.6.0에서 8.6.3으로
  • kiwisolver 1.4.4에서 1.4.8로
  • matplotlib 3.8.4에서 3.10.0으로
  • matplotlib-inline에서 0.1.6에서 0.1.7으로
  • mlflow-skinny 2.19.0에서 2.22.0으로 업데이트
  • numpy 버전 1.26.4에서 2.1.3로 업데이트
  • opentelemetry-api 1.27.0에서 1.32.1로
  • opentelemetry-sdk 1.27.0에서 1.32.1로
  • opentelemetry-semantic-conventions 0.48b0에서 0.53b1으로
  • pandas 1.5.3에서 2.2.3으로
  • parso 0.8.3에서 0.8.4로
  • patsy 0.5.6에서 1.0.1로 변환
  • 10.3.0에서 11.1.0까지의 베개
  • plotly의 5.22.0에서 5.24.1로 업데이트
  • pluggy 1.0.0에서 1.5.0으로
  • proto-plus from 1.24.0 to 1.26.1
  • protobuf 4.24.1에서 5.29.4로
  • 15.0.2에서 19.0.1까지의 pyarrow
  • pyccolo 0.0.65에서 0.0.71로
  • pydantic 2.8.2에서 2.10.6까지
  • pydantic_core 2.20.1에서 2.27.2로
  • PyJWT 2.7.0에서 2.10.1로
  • 5.0.1에서 5.2.0까지의 pyodbc
  • pyparsing 3.0.9에서 3.2.0으로
  • pyright 1.1.294에서 1.1.394로 업데이트
  • python-lsp-server 1.10.0에서 1.12.0으로
  • PyYAML 6.0.1에서 6.0.2로
  • pyzmq 25.1.2에서 26.2.0으로
  • 2.32.2에서 2.32.3으로 요청
  • rsa 4.9에서 4.9.1로
  • s3transfer 0.10.2에서 0.11.3으로
  • scikit-learn 1.4.2에서 1.6.1로
  • scipy 1.13.1에서 1.15.1로
  • sqlparse 버전 0.5.1에서 0.5.3로
  • statsmodels 0.14.2에서 0.14.4로
  • 8.2.2에서 9.0.0까지의 끈기
  • threadpoolctl 2.2.0에서 3.5.0으로
  • 토네이도 6.4.1에서 6.4.2로
  • typing_extensions 4.11.0에서 4.12.2로
  • urllib3 1.26.16에서 2.3.0으로
  • virtualenv 20.26.2에서 20.29.3으로
  • 휠을 0.43.0에서 0.45.1로 업데이트합니다.
  • 1.14.1에서 1.17.0으로 래핑
  • yapf가 0.33.0에서 0.40.2로 업데이트됨
  • zipp 3.17.0에서 3.21.0으로

• 업그레이드된 R 라이브러리:

  • 화살표를 16.1.0에서 19.0.1로
  • askpass 1.2.0에서 1.2.1로 업데이트
  • 4.4.0에서 4.4.2로 기본 업데이트
  • bigD를 0.2.0에서 0.3.0으로
  • 비트 4.0.5에서 4.6.0으로
  • bit64에서 4.0.5에서 4.6.0-1로
  • bitops 버전 1.0-8에서 1.0-9로 업데이트
  • 빗자루 1.0.6에서 1.0.7까지
  • bslib 0.8.0에서 0.9.0으로
  • caret 버전 6.0-94에서 7.0-1로 업데이트
  • 크론 2.3-61에서 2.3-62까지
  • cli 3.6.3에서 3.6.4로
  • 시계 0.7.1에서 0.7.2로
  • commonmark 버전 1.9.1에서 1.9.5로 업데이트
  • 4.4.0에서 4.4.2로 컴파일러 업데이트
  • cpp11을 0.4.7에서 0.5.2로 변경
  • 2.0.1에서 2.0.2까지의 자격 증명
  • curl 5.2.1에서 6.2.1로
  • data.table 버전을 1.15.4에서 1.17.0으로 업데이트했습니다.
  • 4.4.0에서 4.4.2까지의 데이터 세트
  • 다이제스트 버전 0.6.36에서 0.6.37로
  • e1071 버전 1.7-14에서 1.7-16으로
  • 0.24.0에서 1.0.3으로 평가
  • fontawesome가 0.5.2에서 0.5.3으로 업데이트됨
  • fs 1.6.4에서 1.6.5로
  • future.apply 버전 1.11.2에서 1.11.3로
  • gert 버전 2.1.0에서 2.1.4로
  • git2r가 0.33.0에서 0.35.0으로
  • 1.7.0에서 1.8.0으로 붙이기
  • gower 버전 1.0.1에서 1.0.2로 업데이트
  • 그래픽 4.4.0에서 4.4.2로
  • grDevices 4.4.0에서 4.4.2로
  • 그리드를 4.4.0에서 4.4.2로
  • gt 0.11.0에서 0.11.1로
  • 0.3.5에서 0.3.6까지의 gtable
  • 1.4.0에서 1.4.1로 하드 햇
  • httr2가 1.0.2에서 1.1.1로 업데이트되었습니다.
  • jsonlite 1.8.8에서 1.9.1로
  • knitr 1.48부터 1.50까지
  • 이후 1.3.2에서 1.4.1로
  • 용암 1.8.0 ~ 1.8.1
  • 1.9.3에서 1.9.4로 윤활유
  • 메서드를 4.4.0에서 4.4.2로
  • mime 버전 0.12에서 0.13로
  • mlflow 2.14.1에서 2.20.4로
  • nlme 3.1-165에서 3.1-164로 변경
  • openssl 버전 2.2.0에서 2.3.2로
  • 4.4.0에서 4.4.2로 병렬 처리
  • 병렬로 1.38.0에서 1.42.0으로
  • pillar 1.9.0에서 1.10.1로
  • 1.4.4에서 1.4.6까지의 pkgbuild
  • pkgdown 버전 2.1.0에서 2.1.1로 업데이트
  • processx 3.8.4 버전에서 3.8.6 버전으로
  • profvis 0.3.8에서 0.4.0으로
  • progressr 0.14.0에서 0.15.1로 업데이트됨
  • 1.3.0에서 1.3.2로 약속
  • ps 1.7.7부터 1.9.0까지
  • purrr 버전 1.0.2에서 1.0.4로
  • R6 버전이 2.5.1에서 2.6.1로 변경됨.
  • ragg 1.3.2에서 1.3.3으로
  • randomForest를 4.7-1.1에서 4.7-1.2로
  • Rcpp을 1.0.13에서 1.0.14로
  • RcppEigen 0.3.4.0.0에서 0.3.4.0.2로
  • reactR을 0.6.0에서 0.6.1로
  • readxl 버전 1.4.3에서 1.4.5로
  • 1.1.0에서 1.2.0까지의 레시피
  • 1.1.4에서 1.1.5로의 rlang
  • rmarkdown 버전 2.27에서 2.29로
  • RODBC 1.3-23에서 1.3-26으로
  • Rserve 1.8-13에서 1.8-15로
  • RSQLite 2.3.7에서 2.3.9로
  • rstudioapi 0.16.0에서 0.17.1로
  • sessioninfo 1.2.2에서 1.2.3으로 변경
  • 1.9.1에서 1.10.0으로 반짝입니다.
  • sparklyr 1.8.6에서 1.9.0으로
  • 3.5.2에서 4.0.0까지의 SparkR
  • 4.4.0에서 4.4.2로의 스플라인
  • 통계는 4.4.0에서 4.4.2로
  • stats4에서 4.4.0부터 4.4.2로
  • 3.6-4에서 3.5-8까지의 생존
  • sys 3.4.2 버전에서 3.4.3 버전으로
  • systemfonts 버전 1.1.0에서 1.2.1로
  • tcltk 버전 4.4.0에서 4.4.2로 업데이트.
  • testthat 3.2.1.1에서 3.2.3으로
  • textshaping 버전 0.4.0에서 1.0.0으로 업데이트
  • timeDate 4032.109부터 4041.110까지
  • tinytex 0.52에서 0.56로
  • 4.4.0에서 4.4.2까지의 도구
  • tzdb 0.4.0에서 0.5.0으로 업데이트
  • usethis 3.0.0에서 3.1.0으로
  • utils 4.4.0에서 4.4.2로
  • 4.4.2에서 6.0.2로 V8
  • waldo를 0.5.2에서 0.6.1로 업그레이드
  • withr 3.0.1에서 3.0.2로
  • xfun 0.46에서 0.51까지
  • xml2를 1.3.6에서 1.3.8로
  • zip을 2.3.1 버전에서 2.3.2 버전으로

• 업그레이드된 Java 라이브러리:

  • com.clearspring.analytics.stream 2.9.6에서 2.9.8로
  • com.esotericsoftware.kryo-shaded 4.0.2에서 4.0.3으로 업데이트
  • com.fasterxml.classmate 1.3.4에서 1.5.1로
  • com.fasterxml.jackson.core.jackson-annotations 버전 2.15.2에서 2.18.2로 업데이트
  • com.fasterxml.jackson.core.jackson-core 2.15.2에서 2.18.2로
  • com.fasterxml.jackson.core.jackson-databind을 2.15.2에서 2.18.2로 변경
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor 2.15.2에서 2.18.2로
  • com.fasterxml.jackson.datatype.jackson-datatype-joda 2.15.2에서 2.18.2로
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 버전을 2.16.0에서 2.18.2로 업데이트
  • com.fasterxml.jackson.module.jackson-module-paranamer를 2.15.2에서 2.18.2로
  • com.github.luben.zstd-jni 1.5.5-4에서 1.5.6-10으로
  • com.google.code.gson.gson 버전 2.10.1에서 2.11.0로 업데이트되었습니다.
  • com.google.crypto.tink.tink 1.9.0에서 1.16.0으로
  • com.google.errorprone.error_prone_annotations, 버전 2.10.0에서 2.36.0으로 업그레이드합니다.
  • com.google.flatbuffers.flatbuffers-java 버전 23.5.26에서 24.3.25로 업데이트
  • com.google.guava.guava 버전 15.0에서 33.4.0-jre까지
  • com.google.protobuf.protobuf-java 3.25.1 ~ 3.25.5
  • com.microsoft.azure.azure-data-lake-store-sdk 2.3.9 버전에서 2.3.10 버전으로
  • com.microsoft.sqlserver.mssql-jdbc 버전이 11.2.3.jre8에서 12.8.0.jre8로 업데이트되었습니다.
  • commons-cli.commons-cli의 버전을 1.5.0에서 1.9.0으로
  • commons-codec.commons-codec 1.16.0에서 1.17.2로
  • commons-io.commons-io를 2.13.0에서 2.18.0으로
  • io.airlift.aircompressor 버전 0.27에서 2.0.2로
  • io.dropwizard.metrics.metrics-annotation 버전을 4.2.19에서 4.2.30으로 업데이트
  • io.dropwizard.metrics.metrics-core 4.2.19에서 4.2.30으로
  • io.dropwizard.metrics.metrics-graphite를 4.2.19에서 4.2.30으로
  • io.dropwizard.metrics.metrics-healthchecks 버전을 4.2.19에서 4.2.30으로 업데이트합니다.
  • io.dropwizard.metrics.metrics-jetty9에서 4.2.19 버전을 4.2.30 버전으로
  • io.dropwizard.metrics.metrics-jmx 4.2.19에서 4.2.30으로
  • io.dropwizard.metrics.metrics-json을 4.2.19에서 4.2.30으로
  • io.dropwizard.metrics.metrics-jvm의 버전을 4.2.19에서 4.2.30으로 변경
  • 4.2.19에서 4.2.30까지의 io.dropwizard.metrics.metrics-servlet
  • io.netty.netty-all 버전을 4.1.108.Final에서 4.1.118.Final로 변경합니다.
  • io.netty.netty-buffer 4.1.108.Final에서 4.1.118.Final로
  • io.netty.netty-codec를 4.1.108.Final에서 4.1.118.Final로
  • io.netty.netty-codec-http 4.1.108.Final에서 4.1.118.Final까지
  • io.netty.netty-codec-http2의 버전이 4.1.108.Final에서 4.1.118.Final로 업데이트되었습니다.
  • io.netty.netty-codec-socks 4.1.108.Final에서 4.1.118.Final로
  • io.netty.netty-common 4.1.108.Final에서 4.1.118.Final로 변경
  • io.netty.netty-handler를 4.1.108.Final에서 4.1.118.Final로 업데이트
  • io.netty.netty-handler-proxy를 4.1.108.Final에서 4.1.118.Final로 업데이트합니다.
  • io.netty.netty-resolver의 버전이 4.1.108.Final에서 4.1.118.Final로 업데이트되었습니다.
  • io.netty.netty-tcnative-boringssl-static에서 2.0.61.Final-db-r16-windows-x86_64에서 2.0.70.Final-db-r0-windows-x86_64까지
  • io.netty.netty-tcnative-classes를 2.0.61.Final에서 2.0.70.Final로
  • io.netty.netty-transport 버전이 4.1.108.Final에서 4.1.118.Final로 업데이트되었습니다.
  • io.netty.netty-transport-classes-epoll의 버전이 4.1.108.Final에서 4.1.118.Final로 업데이트되었습니다.
  • io.netty.netty-transport-classes-kqueue를 4.1.108.Final에서 4.1.118.Final로 업데이트
  • io.netty.netty-transport-native-epoll에서 4.1.108.Final-linux-x86_64 버전에서 4.1.118.Final-linux-x86_64 버전으로
  • io.netty.netty-transport-native-kqueue에서 4.1.108.Final-osx-x86_64 버전에서 4.1.118.Final-osx-x86_64 버전으로
  • io.netty.netty-transport-native-unix-common이 버전 4.1.108.Final에서 4.1.118.Final로 업데이트되었습니다.
  • io.prometheus.jmx.collector 0.12.0에서 0.18.0까지
  • io.prometheus.simpleclient의 버전이 0.7.0에서 0.16.1-databricks로 변경되었습니다.
  • io.prometheus.simpleclient_common 0.7.0에서 0.16.1-databricks로
  • io.prometheus.simpleclient_dropwizard 버전을 0.7.0에서 0.16.1-databricks로 변경합니다.
  • 0.7.0에서 0.16.1-databricks로 io.prometheus.simpleclient_pushgateway
  • io.prometheus.simpleclient_servlet 0.7.0에서 0.16.1-databricks로
  • joda-time.joda-time 2.12.1에서 2.13.0으로
  • net.razorvine.pickle 1.3에서 1.5로
  • org.antlr.antlr4-runtime를 4.9.3에서 4.13.1로
  • org.apache.arrow.arrow-format 15.0.0에서 18.2.0으로
  • org.apache.arrow.arrow-memory-core 15.0.0에서 18.2.0까지
  • org.apache.arrow.arrow-memory-netty 15.0.0에서 18.2.0로 변경
  • org.apache.arrow.arrow-vector 버전 15.0.0에서 18.2.0으로
  • org.apache.avro.avro 1.11.4에서 1.12.0으로
  • org.apache.avro.avro-ipc 1.11.4에서 1.12.0으로
  • org.apache.avro.avro-mapred 버전을 1.11.4에서 1.12.0으로 업그레이드
  • org.apache.commons.commons-compress 1.23.0에서 1.27.1로
  • org.apache.commons.commons-lang3 버전 3.12.0에서 3.17.0으로
  • org.apache.commons.commons-text 버전을 1.10.0에서 1.13.0으로 업데이트합니다.
  • org.apache.curator.curator-client 2.13.0에서 5.7.1로
  • org.apache.curator.curator-framework의 버전이 2.13.0에서 5.7.1로 업데이트되었습니다.
  • org.apache.curator.curator-recipes 버전을 2.13.0에서 5.7.1로 업데이트합니다.
  • org.apache.datasketches.datasketches-java를 3.1.0에서 6.1.1로
  • org.apache.datasketches.datasketches-memory 버전을 2.0.0에서 3.0.2로 업데이트
  • org.apache.hadoop.hadoop-client-runtime 3.3.6에서 3.4.1로
  • org.apache.hive.hive-beeline 버젼 2.3.9에서 2.3.10으로 변경
  • org.apache.hive.hive-cli 2.3.9에서 2.3.10으로
  • org.apache.hive.hive-jdbc 2.3.9에서 2.3.10으로
  • org.apache.hive.hive-llap-client 2.3.9에서 2.3.10까지
  • org.apache.hive.hive-llap-common 2.3.9에서 2.3.10으로
  • org.apache.hive.hive-serde 2.3.9에서 2.3.10까지
  • org.apache.hive.hive-shims 버전을 2.3.9에서 2.3.10로 변경
  • org.apache.hive.shims.hive-shims-0.23 2.3.9에서 2.3.10까지
  • org.apache.hive.shims.hive-shims-common 2.3.9에서 2.3.10으로
  • org.apache.hive.shims.hive-shims-scheduler 버전 2.3.9에서 2.3.10으로
  • org.apache.ivy.ivy 버전 2.5.2에서 2.5.3로 변경
  • org.apache.logging.log4j.log4j-1.2-api 2.22.1 버전에서 2.24.3 버전으로 업그레이드
  • org.apache.logging.log4j.log4j-api 2.22.1에서 2.24.3로
  • org.apache.logging.log4j.log4j-core 2.22.1에서 2.24.3으로 업데이트
  • org.apache.logging.log4j.log4j-layout-template-json 버전 2.22.1에서 2.24.3으로 업데이트
  • org.apache.logging.log4j.log4j-slf4j2-impl 버전 2.22.1에서 2.24.3으로
  • org.apache.orc.orc-core 1.9.2-shaded-protobuf에서 2.1.1-shaded-protobuf로
  • org.apache.orc.orc-mapreduce 1.9.2-shaded-protobuf에서 2.1.1-shaded-protobuf으로
  • org.apache.orc.orc-shims 1.9.2에서 2.1.1로
  • org.apache.thrift.libthrift 버전이 0.12.0에서 0.16.0으로 변경됨
  • org.apache.ws.xmlschema.xmlschema-core 버전을 2.3.0에서 2.3.1로 변경합니다.
  • org.apache.xbean.xbean-asm9-shaded 4.23에서 4.26으로
  • org.apache.zookeeper.zookeeper 3.9.2에서 3.9.3으로
  • org.apache.zookeeper.zookeeper-jute 3.9.2에서 3.9.3으로
  • org.checkerframework.checker-qual 3.31.0에서 3.43.0으로
  • org.eclipse.jetty.jetty-client의 버전이 9.4.52.v20230823에서 9.4.53.v20231009로 업데이트되었습니다.
  • org.eclipse.jetty.jetty-continuation 9.4.52.v20230823에서 9.4.53.v20231009로
  • org.eclipse.jetty.jetty-http을 9.4.52.v20230823에서 9.4.53.v20231009로 업데이트합니다.
  • org.eclipse.jetty.jetty-io 버전을 9.4.52.v20230823에서 9.4.53.v20231009로 변경
  • eclipse.jetty의 jetty-jndi 버전이 9.4.52.v20230823에서 9.4.53.v20231009로 업데이트되었습니다
  • org.eclipse.jetty.jetty-plus 9.4.52.v20230823에서 9.4.53.v20231009로
  • org.eclipse.jetty.jetty-proxy 9.4.52.v20230823에서 9.4.53.v20231009로
  • org.eclipse.jetty.jetty-security 9.4.52.v20230823에서 9.4.53.v20231009로
  • org.eclipse.jetty.jetty-server 버전이 9.4.52.v20230823에서 9.4.53.v20231009로 변경됩니다.
  • org.eclipse.jetty.jetty-servlet 버전이 9.4.52.v20230823에서 9.4.53.v20231009로 업데이트되었습니다.
  • org.eclipse.jetty.jetty-servlets 버전을 9.4.52.v20230823에서 9.4.53.v20231009로 업데이트합니다.
  • org.eclipse.jetty.jetty-util 9.4.52.v20230823에서 9.4.53.v20231009로
  • org.eclipse.jetty.jetty-util-ajax의 버전이 9.4.52.v20230823에서 9.4.53.v20231009로 변경되었습니다.
  • org.eclipse.jetty.jetty-webapp 9.4.52.v20230823에서 9.4.53.v20231009로
  • org.eclipse.jetty.jetty-xml 버전을 9.4.52.v20230823에서 9.4.53.v20231009으로 변경
  • org.eclipse.jetty.websocket.websocket-api를 9.4.52.v20230823에서 9.4.53.v20231009로 업데이트합니다.
  • org.eclipse.jetty.websocket.websocket-client 버전을 9.4.52.v20230823에서 9.4.53.v20231009로 변경
  • org.eclipse.jetty.websocket.websocket-common 9.4.52.v20230823에서 9.4.53.v20231009로
  • org.eclipse.jetty.websocket.websocket-server 버전이 9.4.52.v20230823에서 9.4.53.v20231009로 업데이트되었습니다.
  • org.eclipse.jetty.websocket.websocket-servlet 버전 9.4.52.v20230823에서 9.4.53.v20231009로
  • org.glassfish.jersey.containers.jersey-container-servlet 2.40부터 2.41까지
  • org.glassfish.jersey.containers.jersey-container-servlet-core의 버전이 2.40에서 2.41로 업데이트됨
  • org.glassfish.jersey.core.jersey-client 2.40에서 2.41까지
  • org.glassfish.jersey.core.jersey-common 버전 2.40에서 2.41로 변경
  • org.glassfish.jersey.core.jersey-server 2.40에서 2.41까지
  • org.glassfish.jersey.inject.jersey-hk2에서 2.40에서 2.41까지
  • org.hibernate.validator.hibernate-validator 6.1.7.Final에서 6.2.5.Final로
  • org.jboss.logging.jboss-logging의 버전을 3.3.2.Final에서 3.4.1.Final로 변경합니다.
  • org.objenesis.objenesis 버전 2.5.1에서 3.3으로
  • org.roaringbitmap.RoaringBitmap 0.9.45-databricks에서 1.2.1로
  • org.rocksdb.rocksdbjni 9.2.1에서 9.8.4로
  • org.scalatest.scalatest-compatible 3.2.16에서 3.2.19로
  • org.slf4j.jcl-over-slf4j 버전 2.0.7에서 2.0.16으로 업데이트
  • org.slf4j.jul-to-slf4j 버전 2.0.7에서 2.0.16으로
  • org.slf4j.slf4j-api 2.0.7에서 2.0.16으로
  • org.threeten.threeten-extra 1.7.1에서 1.8.0으로
  • org.tukaani.xz 1.9에서 1.10으로

Apache Spark

대부분의 기능은 Databricks Runtime 14.x, 15.x 및 16.x에서 이미 사용 가능했으며, 이제 런타임 17.0을 사용하여 기본으로 제공됩니다.

• SPARK-52311 앵커 출력이 중복된 경우 중복되지 않도록 UnionLoop 출력 다시 정의
• SPARK-50104 Connect에서 SparkSession.executeCommand 지원
• SPARK-51085 SQLContext 도우미 복원
• SPARK-49698 클래식 전용 메서드에 대한 ClassicOnly 주석을 추가합니다.
• SPARK-52026 기본적으로 ANSI 모드의 Spark에서 pandas API 차단
• SPARK-43415 사용자 지정 KVGDS.agg 함수를 사용하여 구현 mapValues
• SPARK-50979 .expr/.typedExpr 암시적 제거
• SPARK-49961 Scala 및 Java 모두에 대한 올바른 변환 형식 서명
• SPARK-51012 Connect Shim에서 SparkStrategy를 제거합니다.
• SPARK-50915에서 getCondition에 getErrorClass을(를) 추가하고 PySparkException을(를) 사용 중단시킵니다.
• SPARK-51821 uninterruptibleLock을 보유하지 않고 인터럽트()를 호출하여 교착 상태를 방지합니다.
• SPARK-52192 MLCache 로드 경로 확인
• SPARK-52122 DefaultParamsReader RCE 취약성 수정
• SPARK-52191 모델 경로 로컬 로더에서 Java 디시리얼라이저 제거
• SPARK-52051 DBR 17.0.0에 대한 백포트 "메모리 제어를 사용할 때 모델 요약 사용" 및 "오류 메시지 구체화 및 내부 Spark 구성 숨기기" 커밋
• SPARK-51391SparkConnectClient를 SPARK_USER와 user.name를 준수하도록 수정
• SPARK-51416 Spark Connect 서버를 시작할 때 SPARK_CONNECT_MODE 제거
• SPARK-51156 Spark Connect의 정적 토큰 인증 지원
• SPARK-51279 Scala에서 Spark Connect 서버를 대기하는 동안 지속적인 대기를 피합니다.
• SPARK-51254 Spark Connect URL을 사용하여 --master 허용 불허
• SPARK-51267 Python과 Scala 간에 로컬 Spark Connect 서버 논리 일치
• SPARK-51212 기본적으로 Spark Connect에 대해 분리된 PySpark 패키지 추가
• SPARK-52017 rCTE 내의 하위 쿼리에서 여러 개의 자체 참조 및 하위 쿼리로부터의 자체 참조 활성화
• SPARK-52035 LinearRegressionTrainingSummary 및 LinearRegressionModel 분리
• SPARK-50511 Python 데이터 원본 오류 메시지 래핑 방지
• SPARK-51974 모델 크기 및 세션별 모델 캐시 크기 제한
• SPARK-51947 Spark 연결 모델 캐시 오프로드
• SPARK-49751 SparkListenerConnectServiceStarted 이벤트의 역직렬화 수정
• SPARK-47952 Yarn에서 실행할 때 프로그래밍 방식으로 실제 SparkConnectService GRPC 주소 및 포트 검색 지원
• SPARK-47587 Hive 모듈: 변수를 사용하여 logWarn을 구조적 로깅 프레임워크로 마이그레이션
• SPARK-50768 작업 중단으로 인한 스트림 누출을 방지하기 위해 TaskContext.createResourceUninterruptibly 소개
• SPARK-51818 QueryExecution 만들기를 AnalyzeHandler로 이동하고 AnalyzePlanRequests에 대해 실행하지 않음
• SPARK-51609 간단한 쿼리에 대한 재귀 CTE 실행 최적화
• SPARK-49748에서 getCondition을(를) 추가하고 getErrorClass에서 SparkThrowable을(를) 사용 중단합니다.
• SPARK-51867 로컬 파일 시스템 경로에 대한 저장/로드 메서드를 지원하는 scala 모델 만들기
• SPARK-51856 분산 데이터 프레임 크기를 계산하도록 모델 크기 API 업데이트
• SPARK-51941 입력이 -1.0에서 1.0 사이의 BigDecimal인 경우 convertToCatalyst의 정확성 문제 수정
• SPARK-50605 Spark Connect로 쉽게 마이그레이션할 수 있도록 SQL API 모드 지원
• SPARK-51849 리팩터링 ResolveDDLCommandStringTypes
• SPARK-51673 기본 데이터 정렬을 적용하여 뷰 쿼리 변경
• SPARK-51880 ML 캐시 개체 Python 클라이언트 참조 수정
• SPARK-51873 OneVsRest 알고리즘의 경우 저장/로드를 사용하여 캐시 바꾸기 허용
• SPARK-51072 CallerContext를 사용하여 Hadoop 클라우드 감사 컨텍스트 설정
• SPARK-51790 KryoSerializer에 UTF8String 등록
• SPARK-51022tableSampleClause와 build()의 메서드에서 사용되지 않는 MsSqlServerSQLQueryBuilder를 제거합니다.
• SPARK-51219 비ShowTablesExec.isTempView 카탈로그와 함께 작동하도록 V2SessionCatalog 수정
• SPARK-49700 연결과 클래식을 위한 Scala 통합 인터페이스
• SPARK-50458 파일을 읽을 때 지원되지 않는 파일 시스템에 대한 적절한 오류 처리
• SPARK-50666 JDBC 데이터 원본에서 읽기에 대한 지원 힌트
• SPARK-50131 "IN 하위 쿼리의 DataFrame 추가" 다시 적용
• SPARK-51899 spark.catalog.listTables()에 대한 오류 처리 규칙 구현
• SPARK-51820 서수 접근 방식으로 새로운 group/order의 나머지 문제 해결
• SPARK-48585 JdbcDialect의 메서드가 예외를 던지도록 built-in 만듭니다classifyException.
• SPARK-48387 Postgres: TimestampType을 TIMESTAMP WITH TIME ZONE에 매핑
• SPARK-51820 서수를 기준으로 그룹화 문제를 방지하기 위해 분석 전에 생성 과정을 이동 UnresolvedOrdinal
• SPARK-48337 JDBC TIME 값의 정확도 손실 수정
• SPARK-51711 활성 원격 Spark 세션을 새 스레드로 전파하여 CrossValidator 수정
• SPARK-47515 MySQL에서 TimestampNTZType을 DATETIME으로 저장
• SPARK-48439 더비: DECIMAL 형식에 적합한 정밀도 및 배율 계산
• SPARK-51820 SPARK-51820 코드 동기화에 대한 편집 논리 준비
• SPARK-48323 DB2: CHAR(1) 대신 BooleanType을 BOOLEAN에 매핑
• SPARK-51635 PushProjectionThroughLimit 및 PushProjectionThroughOffset 병합
• SPARK-48211 DB2: SMALLINT를 ShortType으로 읽기
• SPARK-51803 StructField의 메타데이터에 외부 엔진 JDBC 형식 저장
• SPARK-51845 프로토 메시지 CleanCache 추가 및 GetCacheInfo
• SPARK-49511 sql/api에 서식 규칙 적용
• SPARK-47968 MsSQLServer: Datatimeoffset을 TimestampType에 매핑
• SPARK-51726 Stage CREATE/REPLACE/CREATE OR REPLACE 테이블에 TableInfo 사용
• SPARK-47967JdbcUtils.makeGetter 읽기 시간 유형을 NTZ로 올바르게 처리하기
• SPARK-47989 MsSQLServer: spark.sql.legacy.mssqlserver.numericMapping.enabled의 범위를 수정합니다.
• SPARK-51193 Netty를 4.1.118.Final로 업그레이드하고 netty-tcnative를 2.0.70.Final로 업그레이드
• SPARK-47882 createTableColumnTypes를 직접 사용하는 대신 데이터베이스 형식에 매핑해야 합니다.
• SPARK-47879 Oracle: VarcharType 매핑에 VARCHAR 대신 VARCHAR2 사용
• SPARK-51372 테이블 만들기를 위한 TableInfo 소개
• SPARK-47791 JDBC 데이터 원본에서 정밀도를 사용하기 전에 소수 자릿수를 기준으로 초과 소수를 잘라내기
• SPARK-51404 형식을 다음과 같이 구문 분석합니다 time(n) . TimeType(n)
• SPARK-50350 Avro: 새 함수 schema_of_avro 추가(scala 쪽)
• SPARK-51136 기록 서버 설정 CallerContext
• SPARK-50641 다음으로 이동 GetJsonObjectEvaluatorJsonExpressionEvalUtils
• SPARK-50083_LEGACY_ERROR_TEMP_1231를 PARTITIONS_NOT_FOUND에 통합
• SPARK-51556try_to_time 함수 추가
• SPARK-47684 Postgres: 길이가 명시되지 않은 bpchar를 StringType에 매핑
• SPARK-48688 SQL to_avro 및 from_avro 함수를 호출할 때 적절한 오류를 반환하지만 Avro는 기본적으로 로드되지 않습니다.
• SPARK-49839 SPJ: 가능한 경우 정렬 시 셔플을 건너뛰기
• SPARK-45534 RemoteBlockPushResolver에 대해 종료하는 대신 java.lang.ref.Cleaner 사용
• SPARK-51816 데이터 프레임 API로 간소화 StatFunctions.multipleApproxQuantiles
• SPARK-49179 v2 다중 버킷 내부 조인이 AssertionError를 발생시키는 문제 수정
• SPARK-47456 ORC Brotli 코덱 지원
• SPARK-51542 위쪽 및 아래쪽 주소 지정을 위한 스크롤 단추 추가
• SPARK-51541 메서드에서 TIME 데이터 형식 Literal 지원
• SPARK-51615 RunnableCommand를 사용하도록 ShowNamespaces 리팩터링
• SPARK-51191 DELETE, UPDATE, MERGE에서 처리되는 기본값의 유효성 검사
• SPARK-51829 클라이언트 쪽은 삭제 후 업데이트 client.thread_local.ml_caches 해야 합니다.
• SPARK-51358 StateStoreCoordinator를 통해 스냅샷 업로드 지연 검색 소개
• SPARK-51686 현재 실행에 대한 하위 실행의 실행 ID를 연결합니다(있는 경우).
• SPARK-51456to_time 함수 추가
• SPARK-51773 파일 형식을 사례 클래스로 전환하여 제대로 비교
• SPARK-51777 KryoSerializer에 sql.columnar.* 클래스 등록
• SPARK-51432 화살표 스키마가 일치하지 않는 경우 적절한 예외를 발생시키다
• SPARK-51395 프로시저에서 기본값 처리 구체화
• SPARK-50582 quote builtin 함수 추가
• SPARK-51684 test_pandas_transform_with_state에서 테스트 실패 수정
• SPARK-51213 힌트 매개 변수를 확인할 때 클래스 식 정보 유지
• SPARK-51651 현재 실행의 루트 실행 ID(있는 경우) 연결
• SPARK-50947 중복된 아티팩트용 적절한 오류 클래스 및 SparkException 할당
• SPARK-51574 Python 데이터 소스 필터 푸시다운을 위한 필터 직렬화
• SPARK-51608 Python 실행기 종료에 대한 로그 예외
• SPARK-51266 사용되지 않는 정의 제거 private[spark] object TaskDetailsClassNames
• SPARK-51011 작업이 종료될 때 중단될지 여부에 대한 로깅 추가
• SPARK-49646 하위 쿼리 decorrelation을 수정하기 위한 spark 구성 추가
• SPARK-51107 CommandBuilderUtils#join을 리팩터링하여 줄을 재사용하고 중복성을 줄입니다.
• SPARK-51758 워터마크로 인해 빈 df를 유발하는 추가 일괄 처리와 관련된 테스트 사례 수정
• SPARK-51664 해시 식에서 TIME 데이터 형식 지원
• SPARK-51819 누락된 테스트를 포함하도록 pyspark-errors 테스트 모듈 업데이트
• SPARK-50751 에 대한 적절한 오류 조건 할당 _LEGACY_ERROR_TEMP_1305
• SPARK-50973 관련된 더 이상 사용되지 않는 API 사용량 정리 avro.Schema#toString(boolean)
• SPARK-50908에서 불안정한 TTL 테스트를 사용하지 않음 test_pandas_transform_with_state.py
• SPARK-50811 드라이버에서 JVM 프로파일러 사용 지원
• SPARK-50808 혼합 형식이 제대로 작성되지 않는 writeAll의 문제 해결
• SPARK-51780 설명 프로시저 구현
• SPARK-50370 Codegen 지원 для json_tuple
• SPARK-50756 SparkConf.validateSettings의 예외에 오류 클래스 사용
• SPARK-50805 다음으로 메서드 nameForAppAndAttempt 이동 o.a.s.u.Utils
• SPARK-51812 에서 일부 메서드의 중복 매개 변수 제거 QueryExecution
• SPARK-50819 Spark 프로파일러 모듈 리팩터링
• SPARK-51547 오류 조건에 이름 할당: _LEGACY_ERROR_TEMP_2130
• SPARK-48538 bonecp로 인한 HMS 메모리 누수 방지
• SPARK-51176 예기치 않은 오류에 대한 일관성 충족 PySpark Connect <> 클래식
• SPARK-50773 기본적으로 구조적 로깅 사용 안 함
• SPARK-50616 CSV DataSource 기록기에 파일 확장자 옵션 추가
• SPARK-50624 ColumnarRow/MutableColumnarRow에 TimestampNTZType 추가
• SPARK-51590 기본 제공 파일 기반 데이터 원본에서 TIME 사용 안 함
• SPARK-49886 rocksDB 형식 V2에 대한 쿼리 수준 오류 테스트
• SPARK-50823 cloudpickle을 3.1.0에서 3.1.1로 업그레이드
• SPARK-50780에서 overrideStdFeatures 대신 setFeatureMask 사용
• SPARK-50621 Cloudpickle을 3.1.0으로 업그레이드
• SPARK-50719 PySpark 지원 interruptOperation
• SPARK-50545AccessControlException 은(는) 활성화된 경우에도 ignoreCorruptFiles throw되어야 합니다.
• SPARK-51517 Hive 결과에서 TIME 데이터 형식 지원
• SPARK-47856 Oracle의 문서 매핑 Spark SQL 데이터 형식 및 테스트 추가
• SPARK-46066 문자열 API 대신 구분 기호 API를 사용하여 DefaultPrettyPrinter
• SPARK-50718 PySpark 지원 addArtifact(s)
• SPARK-51497 기본 시간 포맷터 추가
• SPARK-51488 TIME 키워드를 데이터 형식으로 지원
• SPARK-51273 Spark Connect 호출 프로시저는 프로시저를 두 번 실행합니다.
• SPARK-51092 big endian 플랫폼에서 시간 제한이 있는 v1 FlatMapGroupsWithState 테스트 건너뛰기
• SPARK-50606 초기화되지 않은 SessionHolder에서 NPE 수정
• SPARK-49530 pyspark 그리기에서 원형 서브플롯 지원
• SPARK-50357 PySpark용 API에 대한 인터럽트(태그|전체) 지원
• SPARK-51290 DSv2 쓰기에서 기본값 채우기 사용
• SPARK-50485 tableRelationCache에서 발생한 (확인되지 않은)ExecutionException에서 SparkThrowable을 해제합니다.
• SPARK-51513 RewriteMergeIntoTable 규칙 수정으로 해결되지 않은 계획 생성
• SPARK-51482 문자열에서 시간으로의 변환을 지원
• SPARK-51462 TIME 데이터 형식의 형식화된 리터럴 지원
• SPARK-51454 시간을 문자열로 변환하는 지원
• SPARK-51447 추가 stringToTime 및 stringToTimeAnsi
• SPARK-51775 NormalizePlan을 통해 LogicalRelation 및 HiveTableRelation 정규화
• SPARK-51791ImputerModel 는 데이터 프레임 대신 배열을 사용하여 계수를 저장합니다.
• SPARK-51442 시간 포맷터 추가
• SPARK-51384 의 외부 유형으로 지원 java.time.LocalTimeTimeType
• SPARK-51747 데이터 원본 캐시된 계획은 옵션을 준수해야 합니다.
• SPARK-51774 Python Connect GRPC 예외에 GRPC 상태 코드 추가
• SPARK-51660 MDC가 지원되지 않는 경우 정상적으로 처리
• SPARK-51296 singleVariantColumn 모드에서 손상된 데이터 수집을 지원합니다.
• SPARK-45907 ProcfsMetricsGetter에서 computeProcessTree를 Java9+ ProcessHandle API들을 사용하여 계산한다.
• SPARK-51342 더하다 TimeType
• SPARK-51769 maxRecordsPerOutputBatch를 추가하여 화살표 출력 일괄 처리의 레코드 수를 제한합니다.
• SPARK-51350 표시 프로시저 구현
• SPARK-51711 메모리 기반 MLCache 제거 정책
• SPARK-51178 대신 적절한 PySpark 오류 발생 SparkConnectGrpcException
• SPARK-51738 구조체 형식의 IN 하위 쿼리
• SPARK-51714 상태 저장소 검사점 형식 V2를 테스트하기 위한 오류 수집 테스트 추가
• SPARK-51704 불필요한 수집 작업 제거
• SPARK-51512 ExternalShuffleService를 사용하여 셔플 데이터를 정리할 때 null MapStatus를 필터링
• SPARK-49308 Spark Connect Scala 클라이언트에서 UserDefinedAggregateFunction 지원
• SPARK-50091 IN-하위 쿼리의 좌측 피연산자에서 집계의 경우를 처리하다
• SPARK-50265 Connect에서 spark.udf.registerJavaUdf 지원
• SPARK-49273 Spark Connect Scala 클라이언트에 대한 원본 지원
• SPARK-51187 SPARK-49699에 도입된 잘못된 구성의 정상적인 사용 중단 구현
• SPARK-51650 일괄 처리로 캐시된 ml 개체 삭제 지원
• SPARK-51619 화살표 최적화 Python UDF에서 UDT 입력/출력 지원
• SPARK-51333 던져진 예외 언랩 InvocationTargetExceptionMLUtils.loadOperator
• SPARK-51566 Python UDF 오류 추적 개선
• SPARK-51393 화살표를 찾을 수 없지만 화살표 최적화 Python UDF를 사용하도록 설정한 경우 일반 Python UDF로 대체
• SPARK-49960 Custom ExpressionEncoder 지원 및 TransformingEncoder 수정
• SPARK-51380 visitSQLFunction 및 visitAggregateFunction을 추가하여 V2ExpressionSQLBuilder의 유연성 향상
• SPARK-51600sql/hive가 참일 때, sql/hive-thriftserver 및 isTesting || isTestingSql 클래스 앞에 추가
• SPARK-51070 ValidateExternalType에서 Set 대신 사용 scala.collection.Set
• SPARK-50759 몇 가지 레거시 카탈로그 API 사용 중단
• SPARK-50994 추적된 실행에서 RDD 변환 수행
• SPARK-51466 Hive UDF 평가 시 Hive 내장 UDF 초기화 제거
• SPARK-51491 하위 쿼리 API를 사용하여 boxplot 간소화
• SPARK-51175Master 드라이버 제거 시 경과 시간을 표시하기
• SPARK-50334 PB 파일의 설명자를 읽기 위한 일반적인 논리 추출
• SPARK-50483 ignoreCorruptFiles를 사용하는 경우에도 BlockMissingException을 throw해야 합니다.
• SPARK-50286 WRITEBuilder에 SQL 옵션을 올바르게 전파
• SPARK-51023 RPC 예외에 대한 원격 주소 기록
• SPARK-47611 MySQLDialect.getCatalystType에서 데드 코드 정리
• SPARK-49229 SparkConnectPlanner에서 Scala UDF 처리 중복 제거
• SPARK-50557 Scala SQL 인터페이스에서 RuntimeConfig.contains(..) 지원
• SPARK-51471 RatePerMicroBatchStream - startOffset의 오프셋/타임스탬프가 endOffset보다 큰 경우 ASSERT 오류를 분류합니다.
• SPARK-50473 클래식 열 처리 간소화
• SPARK-49286 Avro/Protobuf 함수를 sql/api로 이동
• SPARK-49087 내부 함수를 호출하는 UnresolvedFunction을 구분하기
• SPARK-50422 API GA 만들기 Parameterized SQL queriesSparkSession.sql
• SPARK-49249 "PySpark에서 새 기본 아티팩트 관리자 구성을 허용 목록에 추가하기 위한 보조 PR"
• SPARK-50366 클래식 모드에서 SparkSession의 스레드 수준 사용자 정의 태그를 격리합니다.
• SPARK-49436 SQLContext에 대한 공통 인터페이스
• SPARK-51551 튜닝 알고리즘의 경우 저장/로드를 사용하여 캐시를 바꿀 수 있습니다.
• SPARK-51599ps.read_excel 큰 Excel 파일에 최적화
• SPARK-51118 연결된 UDF 입력 형식을 확인하여 대체 가능성을 검토하도록 ExtractPythonUDF 고치기
• SPARK-50395 Windows에서 잘못된 형식의 URI 구문 수정
• SPARK-50708 인스턴스의 ArtifactManager GC에서 아티팩트 리소스 삭제
• SPARK-51076 UDT 입력 및 출력 형식에 대한 Arrow Python UDF 백업 옵션
• SPARK-50243 ArtifactManager에 대한 캐시된 클래스 로더
• SPARK-49249 Spark 클래식에서의 아티팩트 격리
• SPARK-50821 Py4J를 0.10.9.8에서 0.10.9.9로 업그레이드
• SPARK-51591 Python 3.13 매일 테스트에서 ThreadPoolExecutor 오류 수정
• SPARK-40353 에서 인덱스 nullable 불일치 수정 ps.read_excel
• SPARK-42746 LISTAGG 함수 구현
• SPARK-50102 누락된 공용 SQL 메서드에 필요한 shim을 추가합니다.
• SPARK-50513 SQLImplicits에서 EncoderImplicits를 분할하고 StatefulProcessor 내에서 도우미 개체를 제공합니다.
• SPARK-51567 수정 DistributedLDAModel.vocabSize
• SPARK-49569 SparkContext 및 RDD를 지원하기 위한 쉬임 추가
• SPARK-51473 ML 변환된 데이터 프레임은 모델에 대한 참조를 유지합니다.
• SPARK-51340 모델 크기 예측
• SPARK-51474 열 형식 및 행 출력을 모두 지원하는 노드에 중복 ColumnarToRowExec를 삽입하지 마세요.
• SPARK-51445 이전에 변경되지 않은 var을 val로 변경하기
• SPARK-50618 DataFrameReader 및 DataStreamReader가 분석기를 더 많이 활용하게 합니다.
• SPARK-51097 RocksDB 상태 저장소의 마지막으로 업로드된 스냅샷 버전 인스턴스 메트릭 다시 도입
• SPARK-49418 공유 세션 스레드 로컬 변수
• SPARK-50096 다음에 대한 적절한 오류 조건을 할당합니다._LEGACY_ERROR_TEMP_2150TUPLE_SIZE_EXCEEDS_LIMIT
• SPARK-50264 DataStreamWriter에 누락된 메서드 추가
• SPARK-49434 집계를 sql/api로 이동
• SPARK-51451 UnresolvedStarWithColumns가 해결될 때까지 기다리도록 ExtractGenerator 수정
• SPARK-49416 Shared DataStreamReader 인터페이스 추가
• SPARK-49429 Shared DataStreamWriter 인터페이스 추가
• SPARK-49282 공유 SparkSessionBuilder 인터페이스를 만듭니다.
• SPARK-49415 SQLImplicits를 sql/api로 이동
• SPARK-51443 DSv2 및 readStream에서 singleVariantColumn을 수정합니다.
• SPARK-49369 암시적 열 변환 추가
• SPARK-49417 Shared StreamingQueryManager 인터페이스 추가
• SPARK-51079 Pandas UDF, createDataFrame 및 toPandas에서 화살표를 사용하여 큰 변수 형식 지원
• SPARK-51277 화살표 최적화 Python UDF에서 0-arg 구현 구현
• SPARK-50601 하위 쿼리에서 withColumns / withColumnsRenamed 기능 지원
• SPARK-49479 BarrierCoordinator 중지 시 타이머 비데몬 스레드 취소
• SPARK-51379 treeAggregate의 최종 집계를 드라이버에서 실행기로 이동
• SPARK-49712 connect-client-jvm에서 encoderFor 제거
• SPARK-49424 Encoders.scala 통합
• SPARK-49574 마스터에 대해 중단된 델타 공유 테스트 사용 안 함
• SPARK-51409 변경 로그 작성기 만들기 경로에 오류 분류 추가
• SPARK-49568 데이터 세트에서 자체 형식 제거
• SPARK-51433 릴리스 스크립트를 pyspark-client 릴리스로 변경
• SPARK-51422 CrossValidator에서 JVM-Python 데이터 교환 제거
• SPARK-51425 클라이언트 API를 추가하여 사용자 지정 설정 operation_id
• SPARK-49284 공유 카탈로그 인터페이스 만들기
• SPARK-50855 Scala의 TransformWithState에 대한 Spark Connect 지원
• SPARK-50694 하위 쿼리에서 이름 바꾸기 지원
• SPARK-50880 V2ExpressionSQLBuilder에 새 visitBinaryComparison 메서드 추가
• SPARK-51282 JVM-Python 데이터 교환을 제거하여 OneVsRestModel 변환 최적화
• SPARK-51079 Pandas UDF, createDataFrame 및 toPandas에서 화살표를 사용하여 큰 변수 형식 지원
• SPARK-51383 클라이언트가 이미 중지된 것으로 알려진 경우 RPC 호출을 사용하지 않습니다.
• SPARK-51227 PySpark Connect _minimum_grpc_version 를 1.67.0으로 수정
• SPARK-51362 NextIterator API를 사용하여 인접한 레코드 종속성을 제거하도록 toJSON 변경
• SPARK-51375 로그 메시지 표시 안 함 SparkConnect(Execution|Session)Manager.periodicMaintenance
• SPARK-50393 Spark 클래식 및 Spark Connect에 대한 일반적인 TableArg 소개
• SPARK-50133 Spark Connect Python 클라이언트에서 테이블 인수로 데이터 프레임 변환 지원
• SPARK-49574 ExpressionEncoder는 그것을 만든 AgnosticEncoder를 추적합니다.
• SPARK-49422 sql/api에 groupByKey 추가
• SPARK-51381Session ID 페이지에 표시 Spark Connect Session
• SPARK-51316 행 수 대신 화살표 일괄 처리(바이트) 허용
• SPARK-50134 Spark Connect에서 SCALAR 및 EXISTS 하위 쿼리에 대한 DataFrame API 지원
• SPARK-50392 Spark 클래식에서 테이블 인수로 데이터 프레임 변환
• SPARK-50553InvalidPlanInput 잘못된 계획 메시지를 throw합니다.
• SPARK-51322 하위 쿼리 식 스트리밍에 대한 더 나은 오류 메시지
• SPARK-51281 DataFrameWriterV2는 경로 옵션을 준수해야 합니다.
• SPARK-50856 Python의 TransformWithStateInPandas에 대한 Spark Connect 지원
• SPARK-51333에 의해 발생한 예외 해제 InvocationTargetExceptioninvokeMethod
• SPARK-50134 Spark Connect에서 횡적 조인을 위한 DataFrame API 지원
• SPARK-51083 InterruptedExceptions를 삼킬 수 없도록 JavaUtils 수정
• SPARK-49413 공유 RuntimeConfig 인터페이스 만들기(후속 작업)
• SPARK-49413 공유 RuntimeConfig 인터페이스 만들기
• SPARK-50993 QueryCompilationErrors에서 QueryExecutionErrors로 nullDataSourceOption 이동
• SPARK-51329 클러스터링 모델에 대한 추가 numFeatures
• SPARK-51305 개선하다 SparkConnectPlanExecution.createObservedMetricsResponse
• SPARK-51097 RocksDB에서 마지막으로 업로드한 스냅샷 버전에 대한 상태 저장소 인스턴스 메트릭 추가
• SPARK-49425 공유 DataFrameWriter 만들기
• SPARK-50655 인코더 대신 db 계층으로 가상 콜 패밀리 관련 매핑 이동
• SPARK-48530 SQL 스크립팅의 지역 변수 지원
• SPARK-51284 빈 결과에 대한 SQL 스크립트 실행 수정
• SPARK-49085 Connect에서 Protobuf 함수에 대한 특별 처리 제거
• SPARK-50881 가능한 경우 캐시된 스키마를 사용하여 dataframe.py에서 연결하세요.
• SPARK-51275 python readwrite의 세션 전파
• SPARK-51109 하위 쿼리 식의 CTE를 그룹화 열로
• SPARK-50598 나중에 재귀 CTE를 구현할 수 있도록 매개 변수 추가
• SPARK-51202 메타 알고리즘 Python 작성기에서 세션 전달
• SPARK-51215 도우미 모델 attr를 호출하는 도우미 함수 추가
• SPARK-51214 에 대해 캐시된 모델을 즉시 제거하지 마세요. fit_transform
• SPARK-51237 새 transformWithState 도우미 API에 대한 API 세부 정보 추가
• SPARK-51192processWithoutResponseObserverForTesting에서 SparkConnectPlanner를 노출하기
• SPARK-51217 ML 모델 보조 생성자 정리
• SPARK-51218 NondeterministicExpressionCollection에서 map/flatMap 사용을 피하기
• SPARK-50953 VariantGet에서 리터럴이 아닌 경로에 대한 지원 추가
• SPARK-50132 횡적 조인을 위한 DataFrame API 추가
• SPARK-51190 TreeEnsembleModel.treeWeights 수정
• SPARK-50945 Connect에서 Summarizer 및 SummaryBuilder 지원
• SPARK-51142 ML protobufs 정리 작업
• SPARK-51139 오류 클래스 구체화 MLAttributeNotAllowedException
• SPARK-51080 에 대한 저장/로드 수정 PowerIterationClustering
• SPARK-51100 변환기 래퍼를 도우미 모델 특성 관계로 바꾸기
• SPARK-51091 의 기본 매개 변수 수정 StopWordsRemover
• SPARK-51089 연결 시 지원VectorIndexerModel.categoryMaps
• SPARK-50954 메타 알고리즘에 대한 클라이언트 쪽 모델 경로 덮어쓰기 지원
• SPARK-50975CountVectorizerModel.from_vocabulary 연결 지원
• SPARK-50958Word2VecModel.findSynonymsArray 연결 시 지원 기능
• SPARK-50930PowerIterationClustering 연결 지원
• SPARK-51157 Scala 함수 API에 대한 누락된 @varargs Scala 주석 추가
• SPARK-51155SparkContext 중지 후 총 실행 시간을 표시하기
• SPARK-51143 고정 plotly<6.0.0 및 torch<2.6.0
• SPARK-50949 지원할 도우미 모델 소개 StringIndexModel.from_labels_xxx
• SPARK-51131 명령 내에서 EXECUTE IMMEDIATE SQL 스크립트가 발견되면 예외 throw
• SPARK-51078 에서 py4j 호출 수정 StopWordsRemover
• SPARK-50944KolmogorovSmirnovTest에 대한 연결 지원
• SPARK-50602 잘못된 인덱스 열을 지정할 때 적절한 오류 메시지를 표시하도록 transpose 수정
• SPARK-50943 Connect에서의 지원
• SPARK-50234 오류 메시지 개선 및 데이터 프레임 API 변환 테스트
• SPARK-50942 Connect에서 ChiSquareTest 지원
• SPARK-48353 SQL 스크립팅의 예외 처리 메커니즘 소개
• SPARK-51043 Spark Connect foreachBatch에 대한 세분화된 사용자 로깅
• SPARK-50799 rlike, length, octet_length, bit_length 및 transform의 문서 문자열을 다듬기
• SPARK-51015 Connect에서 RFormulaModel.toString 지원
• SPARK-50843 지원은 기존 모델에서 새 모델을 반환합니다.
• SPARK-50969 연결 문제 해결 GaussianMixtureModel.gaussians
• SPARK-50899 연결에서 PrefixSpan 지원
• SPARK-51060 Connect에서 QuantileDiscretizer 지원
• SPARK-50974 연결에서 CrossValidator에 foldCol 지원을 추가하기
• SPARK-50922 Connect에서 OneVsRest 지원
• SPARK-50812 PolynomialExpansion 지원 추가
• SPARK-50923 Connect에서 FMClassifier 및 FMRegressor 지원
• SPARK-50918 파이프라인에 대한 읽기/쓰기 코드 재구성 또는 리팩터링
• SPARK-50938 Connect에서 VectorSizeHint 및 VectorSlicer 지원
• SPARK-51005 Connect에서 VectorIndexer 및 ElementwiseProduct 지원
• SPARK-51014 연결에서 RFormula 지원
• SPARK-50941 TrainValidationSplit에 대한 지원 추가
• SPARK-51004 IndexString에 대한 지원 추가
• SPARK-51003 Connect에서 LSH 모델 지원
• SPARK-50924 Connect에서 AFTSurvivalRegression 및 IsotonicRegression 지원
• SPARK-50921 Connect에서 MultilayerPerceptronClassifier 지원
• SPARK-50995 KMeans 및 BisectingKMeans에 대한 지원 clusterCenters
• SPARK-50940 연결에서 CrossValidator/CrossValidatorModel 지원을 추가.
• SPARK-50929LDA에 대한 연결 지원
• SPARK-50925 Connect에서 GeneralizedLinearRegression 지원
• SPARK-50988 예측 도구 및 모델에 대한 uid 불일치 수정
• SPARK-50989 연결에서 NGram, Normalizer 및 상호작용 기능 지원
• SPARK-50937Imputer 연결 지원
• SPARK-51049 범위 병합에 대한 S3A 벡터 IO 임계값 증가
• SPARK-50812 Connect에서 TargetEncoderModel 지원
• SPARK-50920 Connect에서 NaiveBayes 지원
• SPARK-50936 연결에서 HashingTF, IDF 및 FeatureHasher 지원
• SPARK-50934 Connect에서 CountVectorizer 및 OneHotEncoder 지원
• SPARK-49287 스트리밍 클래스를 sql/api로 이동
• SPARK-50932 Connect에서 버킷타이저 지원
• SPARK-50933 연결 시 기능 선택기 지원
• SPARK-50931 연결 시 이진 변환기 지원
• SPARK-50935 연결에서 DCT를 지원
• SPARK-50963 Tokenizers, SQLTransform 및 StopWordsRemover를 Connect에서 지원
• SPARK-50928 Connect에서 GaussianMixture 지원
• SPARK-49383 데이터 프레임 API 변환 지원
• SPARK-50939 Connect에서 Word2Vec 지원
• SPARK-49249 Spark Core에 다시 연결에서 새 태그 관련 API 추가
• SPARK-50919 연결 시 LinearSVC 지원
• SPARK-50883 동일한 명령에서 여러 열 변경 지원
• SPARK-50918 연결 시 파이프라인 지원
• SPARK-50826 처리 방법 리팩터링 ALLOWED_ATTRIBUTES
• SPARK-49427 MergeIntoWriter에 대한 공유 인터페이스 만들기
• SPARK-49414 Shared DataFrameReader 인터페이스 추가
• SPARK-50948 Connect에서 StringIndexer/PCA에 대한 지원 추가
• SPARK-50901 지원 변환기 VectorAssembler
• SPARK-50879 Connect에서 기능 스칼라 지원
• SPARK-50130 스칼라 및 기존 하위 쿼리에 대한 DataFrame API 추가
• SPARK-50075 테이블 반환 함수에 대한 DataFrame API 추가
• SPARK-49426 DataFrameWriterV2에 대한 공유 인터페이스 만들기
• SPARK-50898 연결 시 FPGrowth 지원
• SPARK-50844 로드 시 ServiceLoader를 통해 모델을 로드하도록 합니다.
• SPARK-50884 평가기에서 isLargerBetter 지원
• SPARK-50959 JavaWrapper 예외를 무시한다
• SPARK-50558 ExpressionSet에 simpleString 소개
• SPARK-49422 KeyValueGroupedDataset에 대한 공유 인터페이스 만들기
• SPARK-50878 Connect에서 ALS 지원
• SPARK-50897 ServiceLoader에서 인스턴스 생성 방지
• SPARK-50877 Connect에서 KMeans 및 BisectingKMeans 지원
• SPARK-50876 Connect에서 트리 회귀 지원
• SPARK-50874LinearRegression 연결 시 지원
• SPARK-50869 ML Connect에서 평가자 지원
• SPARK-50851proto.Expression.Literal ML 매개 변수를 표현하십시오.
• SPARK-50825 ML Connect에서 트리 분류자 지원
• SPARK-50827 지원 플러그 인
• SPARK-49907 Connect에서 spark.ml 지원
• SPARK-50968 의 사용 현황 수정 Column.__new__
• SPARK-49028 공유 SparkSession 만들기
• SPARK-49421 공유된 RelationalGroupedDataset 인터페이스 생성하기
• SPARK-50804 to_protobuf()는 MatchError를 throw해서는 안 됩니다.
• SPARK-50900 ProtoDataTypes에 VectorUDT 및 MatrixUDT 추가
• SPARK-50579 수정 truncatedString
• SPARK-50875 TVF에 RTRIM 데이터 정렬 추가
• SPARK-49420 DataFrameNaFunctions에 대한 공유 인터페이스 추가
• SPARK-50669 TimestampAdd 식의 서명 변경
• SPARK-46615 ArrowDeserializers에서 s.c.immutable.ArraySeq 지원
• SPARK-49423 sql/api에서 관찰 통합
• SPARK-49086 SparkSessionExtensions로 ML 함수 등록 이동
• SPARK-49419 DataFrameStatFunctions 공유하기
• SPARK-50735 ExecuteResponseObserver에서 실패하면 무한 다시 연결 요청이 발생합니다.
• SPARK-50522 확정되지 않은 데이터 정렬 지원
• SPARK-50893 UDT의 DataType을 선택 사항으로 표시하기
• SPARK-50685 getattr을 활용하여 Py4J 성능 향상
• SPARK-50742 설정 제거 spark.hadoop.fs.s3a.connection.establish.timeout
• SPARK-50714 Avro 인코딩을 사용할 때 TransformWithState에 대한 스키마 진화 사용
• SPARK-49029 공유 데이터 세트 인터페이스 만들기
• SPARK-50263System.currentTimeMillis를 System.nanoTime로 대체하십시오
• SPARK-50525 InsertMapSortInRepartitionExpressions 최적화 프로그램 규칙 정의
• SPARK-50561 UNIFORM SQL 함수에 대한 형식 강제 변환 및 경계 검사 개선
• SPARK-50707 char/varchar로의/에서의 캐스팅 활성화
• SPARK-49027 클래스와 연결 간에 열 API 공유
• SPARK-49632 CANNOT_PARSE_TIMESTAMP ANSI 구성 제안 제거
• SPARK-50529 구성에서 char/varchar 동작 변경
• SPARK-50600 분석 실패 시 분석된 설정
• SPARK-50789 형식화된 집계에 대한 입력을 분석해야 합니다.
• SPARK-49025 열 구현을 특정 방식에 얽매이지 않도록 하기
• SPARK-50738 검은색을 23.12.1로 업그레이드
• SPARK-49883 상태 저장소 검사점 구조 V2와 RocksDB 통합
• SPARK-50778 PySpark DataFrame에 metadataColumn 추가
• SPARK-49565 파이프 SQL 연산자를 사용하여 자동 생성된 식 별칭 개선
• SPARK-50772 테이블 별칭 유지 후 SET, EXTEND, DROP 연산자
• SPARK-50690 뷰 쿼리 출력의 따옴표 불일치 수정 DESCRIBE TABLE
• SPARK-50675 테이블 및 뷰 수준 데이터 정렬 지원
• SPARK-50480 CharType 및 VarcharType를 StringType에서 확장하기
• SPARK-50715SparkSession.Builder 일괄 처리로 구성 설정
• SPARK-50693 TypedScalaUdf에 대한 입력을 분석해야 합니다.
• SPARK-50710 릴리스 후 세션에 선택적 클라이언트 다시 연결에 대한 지원 추가
• SPARK-50596 Py4J를 0.10.9.7에서 0.10.9.8로 업그레이드
• SPARK-50661 이전 클라이언트 FEB에 대한 이전 버전과의 호환성을 추가합니다.
• SPARK-50515 에 읽기 전용 인터페이스 추가 SparkConf
• SPARK-50642 초기 상태가 없는 경우 Spark Connect에서 FlatMapGroupsWithState에 대한 상태 스키마 수정
• SPARK-50702 regexp_count, regexp_extract 및 regexp_extract_all의 문서 설명 개선
• SPARK-50692 RPAD 푸시다운 지원 추가
• SPARK-50699 지정된 세션을 사용하여 DDL 문자열 구문 분석 및 생성
• SPARK-50573 상태 행에 상태 스키마 ID를 스키마 진화에 추가
• SPARK-50311 PySpark에 대한 지원 (add|remove|get|clear)Tag(s) API
• SPARK-50661 Spark Connect Scala foreachBatch impl을 수정합니다. 데이터셋[T]를 지원합니다.
• SPARK-50696 DDL 구문 분석 메서드에 대한 Py4J 호출 최적화
• SPARK-50687 DataFrameQueryContext에 대한 스택 추적을 가져오는 논리 최적화
• SPARK-50681 MapInXXX 및 ApplyInXXX에 대한 구문 분석된 스키마 캐시
• SPARK-50578 TransformWithStateInPandas에 대한 새 버전의 상태 메타데이터에 대한 지원 추가
• SPARK-50405 복잡한 데이터 형식의 데이터 정렬 형식 강제 변환을 올바르게 처리
• SPARK-50615 변형을 검사에 포함시킵니다.
• SPARK-50599 Avro 및 UnsafeRow 인코딩을 허용하는 DataEncoder 특성 만들기
• SPARK-50076 로그 키 수정
• SPARK-50339 변경 로그를 사용하여 계보 정보 저장
• SPARK-50540 StatefulProcessorHandle에 대한 문자열 스키마 수정
• SPARK-50544 구현 StructType.toDDL
• SPARK-50528 일반 모듈로 이동 InvalidCommandInput
• SPARK-50063 Spark Connect Scala 클라이언트에서 Variant에 대한 지원 추가
• SPARK-50310 PySpark용 DataFrameQueryContext를 사용하지 않도록 설정하는 플래그 추가
• SPARK-50310 PySpark용 DataFrameQueryContext를 사용하지 않도록 설정하는 플래그 추가
• SPARK-50032 정규화된 데이터 정렬 이름 사용 허용
• SPARK-50466 문자열 함수에 대한 도크스트링 구체화 - 1부
• SPARK-49676 transformWithStateInPandas API에서 연산자 체인에 대한 지원 추가
• SPARK-50081 Codegen 지원 XPath*(Invoke 및 RuntimeReplaceable를 통한)
• SPARK-46725 DAYNAME 함수 추가
• SPARK-50067 SchemaOfCsv에 대한 Codegen 지원(Invoke 및 RuntimeReplaceable별)
• SPARK-49873 오류 테스트 시 병합 후 실패 수정
• SPARK-50270 TransformWithStateInPandas에 대한 사용자 지정 상태 메트릭 추가됨
• SPARK-50381 지원 spark.master.rest.maxThreads
• SPARK-50427 공용 API로 configure_logging 노출
• SPARK-50173 pandas 식이 더 많은 데이터 형식을 허용하게 합니다.
• SPARK-50169 의 성능 향상 RegExpReplace
• SPARK-50238 PySpark UDF/UDF/UDAF 및 Python UC UDF에 Variant 지원 추가
• SPARK-50190 히스토그램에서 Numpy의 직접 종속성 제거
• SPARK-50183 Pandas API 및 PySpark 그리기를 위한 내부 함수 통합
• SPARK-50170 다음으로 이동 _invoke_internal_function_over_columnspyspark.sql.utils
• SPARK-50036 REPL 셸의 컨텍스트에 SPARK_LOG_SCHEMA 포함
• SPARK-50141lpad 및 rpad가 열 형식 인수를 수락하도록 만들기
• SPARK-49954 SchemaOfJson에 대한 Codegen 지원(Invoke 및 RuntimeReplaceable별)
• SPARK-50098 최소 버전을 googleapis-common-protos 1.65.0으로 업그레이드
• SPARK-50059 구조적 스트리밍 I/O에 대한 API 호환성 검사
• SPARK-50241 NullIntolerant Mixin을 Expression.nullIntolerant 메서드로 바꾸기
• SPARK-49849 구조적 스트리밍 쿼리 관리에 대한 API 호환성 검사
• SPARK-49851 Protobuf에 대한 API 호환성 검사
• SPARK-49850 Avro에 대한 API 호환성 검사
• SPARK-50039 그룹화에 대한 API 호환성 검사
• SPARK-50023 함수에 대한 API 호환성 검사
• SPARK-50030 창에 대한 API 호환성 검사
• SPARK-50002 I/O에 대한 API 호환성 검사
• SPARK-49848 카탈로그에 대한 API 호환성 검사
• SPARK-50022 UI를 사용하지 않도록 설정된 경우 앱 UI 링크를 숨기도록 수정 MasterPage
• SPARK-50021 UI를 사용하지 않도록 설정된 경우 앱 UI 링크를 숨기도록 수정 ApplicationPage
• SPARK-49990 의 성능 향상 randStr
• SPARK-50380 ReorderAssociativeOperator는 ConstantFolding의 계약을 준수해야 합니다.
• SPARK-50330 정렬 및 창 노드에 힌트 추가
• SPARK-49609 클래식과 연결 간에 API 호환성 검사 추가
• SPARK-49773 잘못된 표준 시간대의 make_timestamp() Java 예외가 catch되지 않은 경우
• SPARK-49345 현재 실행 중인 Spark 세션을 사용하는지 확인합니다.
• SPARK-49368 protobuf lite 클래스에 직접 액세스하지 않도록 방지
• SPARK-50056 ParseUrl에 대한 Codegen 지원(Invoke 및 RuntimeReplaceable 사용)
• SPARK-49119 v1과 v2 간의 구문 show columns 불일치 수정
• SPARK-50144 DSv1 스트리밍 원본을 사용하여 메트릭 계산의 제한 사항 해결
• SPARK-49962 AbstractStringTypes 클래스 계층 구조 간소화
• SPARK-50327 단일 패스 분석기에서 다시 사용할 함수 해상도 계산
• SPARK-48775 SQLContext를 STS의 SparkSession으로 바꾸기
• SPARK-50325 단일 패스 분석기에서 다시 사용할 별칭 확인 요소
• SPARK-48123 구조적 로그를 쿼리하기 위한 상수 테이블 스키마 제공
• SPARK-50055 TryMakeInterval 대체 추가
• SPARK-49312 에 대한 오류 메시지 개선 assertSchemaEqual
• SPARK-38912 classmethod 및 속성과 관련된 주석 제거
• SPARK-50112 TransformWithState 연산자가 Avro 인코딩을 사용하도록 허용
• SPARK-50260 Spark Connect 실행 및 세션 관리 리팩터링 및 최적화
• SPARK-50196 적절한 컨텍스트를 사용하도록 Python 오류 컨텍스트 수정
• SPARK-50167 PySpark 그리기 오류 메시지 및 가져오기 개선
• SPARK-50085lit(ndarray) np.int8을 사용하여 numpy 데이터 형식을 존중합니다.
• SPARK-50273 RocksDB 잠금 획득/릴리스 사례에 대한 로깅 개선
• SPARK-50163 완료 리스너로 인해 RocksDB 추가 acquireLock 릴리스 수정
• SPARK-49770 RocksDB SST 파일 매핑 관리를 개선하고 기존 스냅샷을 사용하여 동일한 버전을 다시 로드하는 문제를 해결합니다.
• SPARK-50232 개발/requirements.txt 'protobuf==5.28.3' 추가
• SPARK-50231 함수가 열을 수락하도록 instr 수정 substring
• SPARK-50028 Spark Connect 서버 수신기의 전역 잠금을 세분화된 잠금으로 바꾸기
• SPARK-50077 기본 전체 매개 변수 패턴을 방지하는 데 도움이 되는 LogicalRelation에 대한 새 패턴 개체 소개
• SPARK-50128 Scala에서 암시적 인코더를 사용하여 상태 저장 프로세서 핸들 API 추가
• SPARK-49411 드라이버와 상태 저장 연산자 간에 상태 저장 검사점 ID 통신
• SPARK-50054 히스토그램 플롯 지원
• SPARK-49854 아티팩트 관리자를 복제할 때 클러스터 라이브러리를 복사하지 마세요.
• SPARK-50071 try_make_timestamp(_ltz 및 _ntz) 및 관련 테스트 추가
• SPARK-50024 클라이언트에서 경고 모듈 대신 로거를 사용하도록 전환
• SPARK-50174 팩터 아웃 UnresolvedCatalogRelation 해상도
• SPARK-49734 함수에 대한 인수 추가 seedshuffle
• SPARK-49943timestamp_ntz_to_long에서 PythonSQLUtils 제거
• SPARK-49945 에 대한 별칭 추가 distributed_id
• SPARK-49755 Connect에서 avro 함수에 대한 특수 처리를 제거
• SPARK-49805 에서 private[xxx] 함수 제거 function.scala
• SPARK-49929 상자 그림 지원
• SPARK-49767 내부 함수 호출 리팩터링
• SPARK-49939 json_object_keys에 대한 Codegen 지원 (Invoke 및 RuntimeReplaceable)
• SPARK-49854 세션 복제 시 아티팩트 관리자 복제
• SPARK-49766 코드 생성 지원 json_array_length (Invoke과 RuntimeReplaceable에 의해)
• SPARK-49540 의 사용량 통합 distributed_sequence_id
• SPARK-50046 EventTimeWatermark 노드의 안정적인 순서를 사용하여 워터마크 계산
• SPARK-50031 식 TryParseUrl 추가
• SPARK-49202 히스토그램에 적용 ArrayBinarySearch
• SPARK-49811 StringTypeAnyCollation 이름 바꾸기
• SPARK-50106 Python 패키지를 5.28.3으로 업그레이드 protobuf
• SPARK-49203 에 대한 식 추가 java.util.Arrays.binarySearch
• SPARK-50090 ResolveBinaryArithmetic을 분리된 단일 노드 변환으로 리팩터링
• SPARK-49103 지원 spark.master.rest.filters
• SPARK-49222 QueryCompilationErrors에서 쓸모 없는 메서드 지우기
• SPARK-50062 다음을 통해 데이터 정렬 지원 InSet
• SPARK-50035 상태 저장 프로세서의 명시적 handleExpiredTimer 함수 부분에 대한 지원 추가
• SPARK-50050litstr 및 bool 유형의 numpy ndarray를 수용하도록 만듭니다.
• SPARK-50051 빈 numpy ndarray와 작동하도록 lit 설정
• SPARK-49857 Dataset localCheckpoint API에 storageLevel 추가
• SPARK-48749 RuntimeReplaceable을 사용하여 UnaryPositive 간소화 및 촉매 규칙 제거
• SPARK-50058 나중에 단일 패스 분석기 테스트에서 이를 사용하도록 계획 정규화 함수를 고려합니다.
• SPARK-50042 python linter를 위한 numpy 2 업그레이드
• SPARK-50052 NumpyArrayConverter에서 빈 str ndarray를 지원합니다.
• SPARK-49126 구성 정의를 다음으로 이동 spark.history.ui.maxApplicationsHistory.scala
• SPARK-50044 여러 수학 함수의 문서 문자열 개선
• SPARK-48782 카탈로그에서 프로시저 실행에 대한 지원 추가
• SPARK-48773 구성 작성기 프레임워크에 의해 "spark.default.parallelism" 설정을 문서화하다.
• SPARK-49876 Spark Connect 서비스에서 전역 잠금 제거
• SPARK-48480 StreamingQueryListener는 spark.interrupt()의 영향을 받지 않아야 합니다.
• SPARK-49978 sparkR 사용 중단 경고를 패키지 연결 시간으로 이동
• SPARK-48549 SQL 함수 개선 sentences
• SPARK-49956 collect_set 식을 사용하여 사용하지 않도록 설정된 데이터 정렬
• SPARK-49974 resolveRelations(...)를 Analyzer.scala에서 다른 곳으로 이동
• SPARK-49067 utf-8 리터럴을 UrlCodec 클래스의 내부 메서드로 이동
• SPARK-49393 사용되지 않는 카탈로그 플러그 인 API에서 기본적으로 실패
• SPARK-49918 적절한 경우 SparkContext에서 conf에 읽기 전용 액세스를 사용하십시오.
• SPARK-49924containsNull 교체 후 ArrayCompact 유지
• SPARK-49895SELECT 절에서 후행 쉼표가 있을 때의 오류 처리를 개선
• SPARK-49890 df.sample의 준비 과정을 부모 클래스에 분리
• SPARK-49810 준비 과정을 부모 클래스로 이동
• SPARK-49405 JsonOptions에서 문자 집합 제한
• SPARK-49542 파티션 변환 예외 평가 오류
• SPARK-47172 RPC 암호화에 대한 AES-GCM 지원 추가
• SPARK-44914 xercesImpl을 삭제한 후 HadoopConfUtilsSuite 수정
• SPARK-47496 동적 JDBC 언어 등록을 위한 Java SPI 지원
• SPARK-48961 PySparkException의 매개 변수 이름을 JVM과 일치하게 만들기
• SPARK-47390 Postgres 및 MySQL에 대한 SQL 타임스탬프 매핑 처리
• SPARK-49824 SparkConnectStreamingQueryCache에서 로깅 개선
• SPARK-49894 열 필드 작업의 문자열 표현 구체화
• SPARK-49836 윈도우/세션_윈도우 fn에 윈도우가 제공될 때 손상되었을 가능성이 있는 쿼리 수정
• SPARK-49531 plotly 백엔드를 사용하여 선형 그래프 지원
• SPARK-48780 Functions 및 프로시저를 처리할 수 있도록 NamedParametersSupport의 오류를 제네릭화하기
• SPARK-49026 Proto 변환에 ColumnNode 추가
• SPARK-49814 Spark Connect 클라이언트가 시작될 때 spark version를 connect server에 표시합니다.
• SPARK-49246 TableCatalog#loadTable은 쓰기용인지 여부를 표시해야 합니다.
• SPARK-49749 BlockManagerInfo에서 로그 수준을 디버그하도록 변경
• SPARK-48303 재구성 LogKeys
• SPARK-48112 SparkConnectPlanner의 세션을 플러그 인에 노출
• SPARK-45919 Java 16 record 을 사용하여 Java 클래스 정의 간소화
• SPARK-48126 효과적으로 만들기 spark.log.structuredLogging.enabled
• SPARK-49656 값 상태 컬렉션 형식 및 읽기 변경 피드 옵션을 사용하여 상태 변수에 대한 지원 추가
• SPARK-49323 Spark Connect Server의 테스트 폴더에서 서버의 주 폴더로 MockObserver 이동
• SPARK-49772 ColumnFamilyOptions를 제거하고 RocksDB의 dbOptions에 직접 구성 추가
• SPARK-49688 인터럽트와 실행 계획 간의 데이터 경합 수정
• SPARK-49585 SessionHolder의 실행 맵을 operationID 집합으로 바꾸기
• SPARK-49684 세션 복원 잠금의 수명 최소화
• SPARK-48857 CSVOptions에서 문자 집합 제한
• SPARK-48615 16진수 문자열 구문 분석을 위한 성능 향상
• SPARK-49719UUID 및 SHUFFLE가 정수 seed를 수락하도록 하기
• SPARK-49713 함수 count_min_sketch 가 숫자 인수를 수락하게 합니다.
• SPARK-48623 구조적 로깅 마이그레이션 [3부]
• SPARK-48541 TaskReaper에 의해 종료된 실행기에 대한 새 종료 코드 추가
• SPARK-48627 이진 문자열을 HEX_DISCRETE 문자열로 변환하는 성능 개선
• SPARK-49226 UDF 코드 생성 정리
• SPARK-49673 CONNECT_GRPC_ARROW_MAX_BATCH_SIZE를 CONNECT_GRPC_MAX_MESSAGE_SIZE의 0.7배로 늘리기
• SPARK-49307 독립적인 인코더 프레임워크에 Kryo serialization 추가
• SPARK-48601 JDBC 옵션에 대해 null 값을 설정할 때 사용자에게 친숙한 오류 메시지 제공
• SPARK-42252 추가 spark.shuffle.localDisk.file.output.buffer 및 사용 중단 spark.shuffle.unsafe.file.output.buffer
• SPARK-49505 범위 내에서 임의의 문자열 또는 숫자를 생성하는 새 SQL 함수 "randstr" 및 "uniform"을 만듭니다.
• SPARK-48341 플러그 인이 해당 테스트에서 QueryTest를 사용하도록 허용
• SPARK-48374 추가 PyArrow 테이블 열 형식 지원
• SPARK-49412 단일 작업에서 모든 상자 그림 메트릭 계산
• SPARK-49684 세션 및 실행 관리자에서 전역 잠금 제거
• SPARK-49225 ColumnNode sql 추가 및 정규화
• SPARK-49274 Java serialization 기반 인코더 지원
• SPARK-49089 하드 코딩된 Catalyst 식을 내부 함수 레지스트리로 이동
• SPARK-48185 '기호 참조 클래스에 액세스할 수 없음: sun.util.calendar.ZoneInfo 클래스' 수정
• SPARK-48037 SortShuffleWriter에 섞기 쓰기 관련 메트릭 부족으로 발생할 수 있는 데이터 부정확성 문제를 해결합니다.
• SPARK-49534sql/hive가 클래스 경로에 없을 때 더 이상 sql/hive-thriftserver와 spark-hive_xxx.jar가 앞에 추가되지 않음.
• SPARK-49502 SparkEnv.get.shuffleManager.unregisterShuffle에서 NPE 발생 방지
• SPARK-49567 PySpark 코드 베이스 대신 classic 사용 vanilla
• SPARK-49582 "dispatch_window_method" 유틸리티 및 주석 개선
• SPARK-49478 ConnectProgressExecutionListener에서 null 메트릭 처리
• SPARK-49525 서버 쪽 스트리밍 쿼리 ListenerBus 수신기에 대한 사소한 로그 개선
• SPARK-49544 SparkConnectExecutionManager의 거친 잠금을 ConcurrentMap으로 바꾸기
• SPARK-49548 SparkConnectSessionManager의 거친 잠금을 ConcurrentMap으로 바꾸기
• SPARK-49004 Column API 내부 함수에 별도의 레지스트리 사용
• SPARK-49443 to_variant_object 식을 구현하고 schema_of_variant 식이 Variant 개체에 대한 OBJECT를 인쇄하게 합니다.
• SPARK-49595 Spark Connect Scala 클라이언트에서 수정 DataFrame.unpivot/melt
• SPARK-49526 ArtifactManager에서 Windows 스타일 경로 지원
• SPARK-49396 CaseWhen 식에 대한 Null 허용 여부 검사 수정
• SPARK-49024 열 노드에 함수에 대한 지원 추가
• SPARK-48985 호환되는 식 생성자 연결
• SPARK-49083 from_xml 및 from_json 기본적으로 json 스키마로 작업하도록 허용
• SPARK-48986 ColumnNode 중간 표현 추가
• SPARK-48960 Spark 연결을 사용하여 spark-submit 작업을 수행합니다.
• SPARK-49492 비활성 ExecutionHolder에서 다시 연결 시도됨
• SPARK-47307 base64 문자열을 필요에 따라 분할할 수 있는 설정 추가
• SPARK-49451 parse_json 중복 키 허용
• SPARK-49021 상태 데이터 소스 리더를 사용하여 transformWithState의 값 상태 관리 변수 읽기 지원 추가
• SPARK-49249 Spark SQL Core에 API 추가 addArtifact
• SPARK-48693 Invoke 및 StaticInvoke의 toString 간소화 및 통합
• SPARK-41982 문자열 형식의 파티션은 숫자 형식으로 처리해서는 안 됩니다.
• SPARK-49216 구조적 로깅 conf가 꺼져 있을 때 명시적으로 LogEntry가 생성된 메시지 컨텍스트를 기록하지 않도록 수정
• SPARK-49459 셔플 체크섬 지원 CRC32C
• SPARK-49409 CONNECT_SESSION_PLAN_CACHE_SIZE 기본값 조정
• SPARK-49164 JDBC Relation의 SQL 쿼리 조건자에서 NullSafeEqual을 수정하지 않음
• SPARK-48344 SQL 스크립팅 실행(Spark Connect 포함)
• SPARK-49260 Spark Connect Shell에서 모듈의 sql/core 클래스 경로를 더 이상 앞에 추가하지 않음.
• SPARK-49041 잘못된 dropDuplicates가 주어졌을 때 subset에 대해 적절한 오류를 발생시킵니다.
• SPARK-49300 tokenRenewalInterval이 설정되지 않은 경우 Hadoop 위임 토큰 누수 수정
• SPARK-48796 다시 시작할 때 RocksDBCheckpointMetadata에서 VCF에 대한 컬럼 패밀리 ID 로드
• SPARK-49269 AstBuilder에서 열렬히 평가 VALUES() 목록
• SPARK-49336 protobuf 메시지를 잘라낼 때 중첩 수준을 제한합니다.
• SPARK-49245 일부 분석기 규칙 리팩터링
• SPARK-48755 transformWithState pyspark 기본 구현 및 ValueState 지원
• SPARK-48762 Python용 clusterBy DataFrameWriter API 소개
• SPARK-48967 "INSERT INTO ... VALUES" 문 성능 및 메모리 사용량을 개선하다
• SPARK-49195 SparkSubmitCommandBuilder에 스크립트 수준 구문 분석 논리 포함
• SPARK-49173 Spark Connect 셸 프롬프트를 @에서 scala>로 변경
• SPARK-49198 Spark Connect 셸에 불필요한 jar 추가 제거
• SPARK-48936으로 spark-shell이 Spark 연결과 함께 작동하게 합니다.
• SPARK-49201 Spark SQL을 사용하여 그림 다시 표시 hist
• SPARK-49111 WithProjectAndFilter를 DataSourceV2Strategy의 도우미 개체로 이동
• SPARK-49185 Spark SQL을 사용하여 그림 다시 표시 kde
• SPARK-48761 Scala용 clusterBy DataFrameWriter API 소개
• SPARK-48628 작업의 피크 온/오프 힙 기억 메트릭 추가
• SPARK-48900 작업/스테이지 취소에 대한 모든 내부 호출에 대한 필드 추가 reason
• SPARK-49076 AstBuilder의 주석에서 오래된 logical plan name 수정
• SPARK-49059 테스트 패키지로 이동 SessionHolder.forTesting(...)
• SPARK-48658 인코딩/디코딩 함수는 mojibake 대신 코딩 오류를 보고합니다.
• SPARK-45891 Variant 사양에서 간격 형식에 대한 지원 추가
• SPARK-49032 메타데이터 테이블 항목에 스키마 경로 추가 및 연산자 메타데이터 형식 v2 관련 테스트
• SPARK-49009 열 API 및 함수가 열거형을 수락하게 만들기
• SPARK-49035 TypeVar 제거 ColumnOrName_
• SPARK-48849 TransformWithStateExec 연산자에 대한 OperatorStateMetadataV2 만들기
• SPARK-48974 대신 사용 SparkSession.implicitsSQLContext.implicits
• SPARK-48996 열의 __and__ 및 __or__에 대한 순수 리터럴 허용
• SPARK-48928 로컬 검사점 RDD에서 .unpersist() 호출에 대한 로그 경고
• SPARK-48972 함수에서 리터럴 문자열 처리 통합
• SPARK-48891 StateSchemaCompatibilityChecker를 리팩터링하여 모든 상태 스키마 형식 통합
• SPARK-48841collationName의 sql()에서 Collate를 포함하세요
• SPARK-48944 Connect Server에서 JSON 형식 스키마 처리 통합
• SPARK-48945 을 사용하여 regex 함수 간소화 lit
• SPARK-48865 try_url_decode 함수 추가
• SPARK-48851SCHEMA_NOT_FOUND의 값을 namespace에서 catalog.namespace로 변경합니다.
• SPARK-48510 Maven에서 테스트를 실행할 때 UDAF toColumn API 수정
• SPARK-45190 StructType 스키마를 지원하게 만들기 from_xml
• SPARK-48900에서 reason 및 cancelJobGroup에 cancelJobsWithTag 필드를 추가하십시오.
• SPARK-48909 메타데이터를 작성할 때 SparkContext를 통해 SparkSession 사용
• SPARK-48510 Spark Connect에서 UDAF toColumn API 지원
• SPARK-45155 Spark Connect JVM/Scala 클라이언트에 대한 API 문서 추가
• SPARK-48794 df.mergeInto 지원(Spark Connect, Scala 및 Python)
• SPARK-48714 PySpark에서 구현 DataFrame.mergeInto
• SPARK-48726 TransformWithStateExec 연산자에 대한 StateSchemaV3 파일 형식 만들기
• SPARK-48834 쿼리 컴파일 중에 Python UDF, UDF, UDAF에 변형 입력/출력 사용 안 함
• SPARK-48716 SparkListenerSQLExecutionStart에 jobGroupId 추가
• SPARK-48888 changelog ops 크기에 따라 스냅샷 만들기 제거
• SPARK-48772 상태 데이터 원본 변경 피드 판독기 모드
• SPARK-48742 RocksDB용 가상 열 패밀리
• SPARK-48852 연결에서 문자열 트리밍 함수 수정
• SPARK-48343 SQL 스크립팅 인터프리터 소개
• SPARK-48118 env 변수 지원 SPARK_SQL_LEGACY_CREATE_HIVE_TABLE
• SPARK-48804 출력 커밋자 클래스 구성에 대한 classIsLoadable & OutputCommitter.isAssignableFrom 검사 추가
• SPARK-47577 TASK_ID 로그 키 사용의 오류 수정
• SPARK-48798 SparkSession 기반 프로파일링 소개 spark.profile.render
• SPARK-48686 ParserUtils.unescapeSQLString의 성능 향상
• SPARK-48611 HadoopRDD 및 NewHadoopRDD의 입력 분할에 TID 로그 기록
• SPARK-48720 v1 및 v2에서 명령을 ALTER TABLE ... UNSET TBLPROPERTIES ... 일치시키기.
• SPARK-48710 NumPy 2.0 호환 형식 사용
• SPARK-48810 세션 중지() API는 idempotent여야 합니다.
• SPARK-48818 함수 간소화 percentile
• SPARK-48638 DataFrame에 대한 ExecutionInfo 지원 추가
• SPARK-48799 연산자 메타데이터 읽기/쓰기에 대한 버전 관리 리팩터링
• SPARK-46122spark.sql.legacy.createHiveTableByDefault을(를) false로 기본적으로 설정
• SPARK-48629 잔차 코드를 구조적 로깅 프레임워크로 마이그레이션
• SPARK-48320 OSS Spark에서 최신 로깅 특성 및 테스트 사례 동기화
• SPARK-48573 ICU 버전 업그레이드
• SPARK-48687 상태 저장 쿼리에 대한 계획 단계에서 드라이버에 상태 스키마 유효성 검사 및 업데이트 추가
• SPARK-47579 변수를 사용하여 logInfo를 구조적 로깅 프레임워크로 마이그레이션(PART 1-4)
• SPARK-48713 baseObject가 바이트 배열인 경우 UnsafeRow.pointTo에 대한 인덱스 범위 검사 추가
• SPARK-48498 조건자에서 항상 문자 패딩 수행
• SPARK-48598 데이터 프레임 작업에서 캐시된 스키마를 전파하기
• SPARK-47599 MLLib: 변수를 사용하여 logWarn을 구조적 로깅 프레임워크로 마이그레이션
• SPARK-48576 UTF8_BINARY_LCASE 이름을 UTF8_LCASE로 바꾸기
• SPARK-48650 IPython Notebook에서 올바른 통화 사이트 표시
• SPARK-48059 Java 쪽의 구조적 로그 프레임워크
• SPARK-48482 dropDuplicates 및 dropDuplicatesWithinWatermark는 가변 길이 인수를 허용해야 합니다.
• SPARK-48620의 내부 원시 데이터 누수를 YearMonthIntervalType 및 CalendarIntervalType에서 수정하기
• SPARK-48555 여러 함수에 대한 매개 변수로 열 사용 지원
• SPARK-48591 간소화할 도우미 함수 추가 Column.py
• SPARK-48459 Spark Connect에서 DataFrameQueryContext 구현
• SPARK-48610 리팩터링: OP_ID_TAG 대신 보조 idMap 사용
• SPARK-47923 R 패키지의 arrow 최소 버전을 10.0.0으로 업그레이드
• SPARK-48593 람다 함수의 문자열 표현 수정
• SPARK-46947 드라이버 플러그 인이 로드될 때까지 메모리 관리자 초기화 지연
• SPARK-48220 PyArrow Table을 createDataFrame()에 전달하도록 허용
• SPARK-48564 집합 작업에서 캐시된 스키마를 전파하기
• SPARK-48561 지원되지 않는 그리기 함수에 대한 throw PandasNotImplementedError
• SPARK-48513 상태 스키마 호환성에 대한 오류 클래스 추가
• SPARK-48553 더 많은 속성 캐시
• SPARK-48550 부모 Window 클래스 직접 사용
• SPARK-48504 Spark Connect 및 Spark 클래식에 대한 부모 창 클래스
• SPARK-48508에서 사용자 지정 스키마를 캐시합니다DataFrame.{to, mapInPandas, mapInArrow}
• SPARK-48496 JavaUtils에서 정적 regex 패턴 인스턴스 사용
• SPARK-47578 수동 백포트: 변수를 사용하여 logWarning 마이그레이션
• SPARK-47737 PyArrow를 10.0.0으로 범프
• SPARK-48159 datetime 식에서 정렬된 문자열 지원 확장
• SPARK-48454 부모 DataFrame 클래스 직접 사용
• SPARK-48438 부모 Column 클래스 직접 사용
• SPARK-47597 수동 백포트: 변수를 사용하여 logInfo 마이그레이션
• SPARK-48434printSchema 캐시된 스키마를 활용하세요
• SPARK-46998 SQL 구성 사용 중단 spark.sql.legacy.allowZeroIndexInFormatString
• SPARK-46569 JDK9 이후 SecureRandom에 대한 ThreadLocal 제거
• SPARK-46455 중복 형식 변환 제거
• SPARK-46270 java16 instanceof 식 사용
• SPARK-46479 Java 버전 확인을 위해 commons-lang3의 유틸리티 메서드 사용
• SPARK-45998 중복 형식 캐스트 정리
• SPARK-45533 RocksDBIterator/LevelDBIterator에 대해 종료하는 대신 j.l.r.Cleaner 사용
• SPARK-45309 JDK 9/11/17을 사용하여 SystemUtils.isJavaVersionAtLeast를 모두 제거합니다.
• SPARK-48295 기본값으로 compute.ops_on_diff_frames 을(를) 켭니다.
• SPARK-47960 transformWithState 후 다른 상태 저장 연산자 연결 허용
• SPARK-48367 scalafmt 파일 검색을 위한 lint-scala 수정
• SPARK-48247 MapType 스키마 유추에 dict의 모든 값 사용
• SPARK-48370 Scala Spark Connect 클라이언트의 검사점 및 localCheckpoint
• SPARK-48258 Spark Connect에서 Checkpoint와 localCheckpoint
• SPARK-48293 ForeachBatchUserFuncException 래핑 인터럽트 테스트 추가
• SPARK-48031 viewSchemaMode 구성을 분해하고 SHOW CREATE TABLE 지원을 추가합니다.
• SPARK-48288 커넥터 캐스트 식에 대한 원본 데이터 형식 추가
• SPARK-48310 캐시된 속성은 복사본을 반환해야 합니다.
• SPARK-48287 기본 제공 timestamp_diff 메서드 적용
• SPARK-44444 기본적으로 ANSI SQL 모드 사용
• SPARK-48276에 대해 누락된 __repr__를 SQLExpression에 추가하십시오.
• SPARK-46991 Catalyst에서 IllegalArgumentException을 SparkIllegalArgumentException으로 바꾸기
• SPARK-48031 뷰 스키마 진화 지원
• SPARK-48113 플러그 인이 Spark Connect와 통합되도록 허용
• SPARK-47158 레거시 오류 코드에 이름 및 sqlState 할당
• SPARK-47545 Scala 클라이언트에 대한 데이터 세트 observe 지원
• SPARK-47993 Python 3.8 삭제
• SPARK-48260 ParquetIOSuite에서 출력 커밋자 조정 사용 안 함
• SPARK-47365 PySpark에 toArrow() DataFrame 메서드 추가
• SPARK-47963 외부 Spark 에코시스템에 대해 구조화된 로깅 사용
• SPARK-48045 as_index=False를 무시하는 다중 agg-relabel 수정
• SPARK-47719 timeParserPolicy 기본값을 CORRECTED로 변경
• SPARK-48075 PySpark avro 함수에 대한 형식 검사
• SPARK-48102 스트리밍 쿼리 진행률에서 메트릭 기간 추적
• SPARK-47858 DataFrame 오류 문맥 리팩토링
• SPARK-48052 부모 클래스로 CI 복구 pyspark-connect
• SPARK-45284 SparkR 최소 SystemRequirements를 Java 17로 업데이트
• SPARK-47933 Spark Connect 및 클래식에 대한 부모 열 클래스
• SPARK-48053 SparkSession.createDataFrame은 지원되지 않는 옵션에 대해 경고해야 합니다.
• SPARK-48044 캐시 DataFrame.isStreaming
• SPARK-47594 구조적 로그 마이그레이션
• SPARK-47764 ShuffleCleanupMode에 따라 셔플 종속성 정리
• SPARK-45501 형식 검사 및 변환에 패턴 일치 사용
• SPARK-45515 향상된 switch 식을 사용하여 일반 switch 문 바꾸기
• SPARK-47417 데이터 정렬 지원: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences
• SPARK-47909 Spark Connect 및 Spark 클래식에 대한 부모 DataFrame 클래스
• SPARK-47602 코어/MLLib/리소스 관리자: 구조적 로깅 마이그레이션
• SPARK-47390 PostgresDialect는 TIMESTAMP와 TIMESTAMP_TZ 구분합니다.
• SPARK-47868 SparkConnectPlanner 및 SparkSession의 재귀 제한 오류 수정
• SPARK-45802 더 이상 필요하지 않은 Java majorVersion 체크 인 제거 Platform
• SPARK-47818 SparkConnectPlanner에 계획 캐시를 도입하여 분석 요청의 성능 향상
• SPARK-46031 다음으로 바꾸기 !Optional.isPresent()Optional.isEmpty()
• SPARK-45659 다음과 같이 표시된 Java API에 필드 추가 since@Deprecated
• SPARK-45596 org.apache.spark.sql.connect.client.util.Cleaner 대신 java.lang.ref.Cleaner 사용
• SPARK-47807 pyspark-connect와 pyspark.ml 호환되도록 만들기
• SPARK-45830 리팩터링 StorageUtils#bufferCleaner
• SPARK-45578 를 사용하여 사용량 제거 InaccessibleObjectExceptiontrySetAccessible
• SPARK-44895 ThreadStackTrace에 '디먼', '우선 순위' 추가
• SPARK-45295 JDK 8에 대한 Utils.isMemberClass 해결 방법 제거
• SPARK-47081 쿼리 실행 진행률 지원
• SPARK-45322 ProcessHandle을 사용하여 pid 직접 가져오기
• SPARK-46812 mapInPandas와 mapInArrow가 ResourceProfile을 지원하도록 만들기
• SPARK-47406 MYSQLDialect에서 TIMESTAMP 및 DATETIME 처리
• SPARK-47712 연결 플러그 인이 데이터 세트를 만들고 처리하도록 허용
• SPARK-47720 3 및 spark.speculation.multiplier 0.9로 업데이트 spark.speculation.quantile
• SPARK-47665 SMALLINT를 사용하여 MYSQL에 ShortType 쓰기
• SPARK-47722 닫기 전에 RocksDB 백그라운드 작업이 완료될 때까지 기다립니다.
• SPARK-47610 항상 설정 io.netty.tryReflectionSetAccessible=true
• SPARK-47372 상태 저장소 공급자와 함께 사용할 범위 검색 기반 키 상태 인코더에 대한 지원 추가
• SPARK-44708 test_reset_index의 assert_eq를 assertDataFrameEqual로 마이그레이션
• SPARK-47346 Python Planner 작업자를 만들 때 디먼 모드를 구성할 수 있도록 설정
• SPARK-47419 다음으로 이동 log4j2-defaults.propertiescommon/utils
• SPARK-47380 서버 쪽에서 SparkSession이 동일한지 확인합니다.
• SPARK-47055 MyPy 1.8.0 업그레이드
• SPARK-46795UnsupportedOperationException을 SparkUnsupportedOperationException로 sql/core에서 교체하다
• SPARK-46648 기본 ORC 압축으로 사용 zstd
• SPARK-47322withColumnsRenamed 열 이름 중복 처리 방식을 withColumnRenamed와 일치하게 만들기
• SPARK-47011 사용되지 않는 제거 BinaryClassificationMetrics.scoreLabelsWeight
• SPARK-46332 오류 클래스로 마이그레이션 CatalogNotFoundExceptionCATALOG_NOT_FOUND
• SPARK-46975 전용 대체 방법 지원
• SPARK-47069 SparkSession 기반 프로파일링 소개 spark.profile.show/dump
• SPARK-47062 호환성을 위해 Java로 연결 플러그 인 이동
• SPARK-46833 데이터 정렬 - 지원되는 데이터 정렬에 대한 비교 및 해시 규칙을 제공하는 CollationFactory 소개
• SPARK-46984 pyspark.copy_func 제거
• SPARK-46849 열 기본값에서 CREATE TABLE 최적화 프로그램 실행
• SPARK-46976 구현 DataFrameGroupBy.corr
• SPARK-46911 StatefulProcessorHandleImpl에 deleteIfExists 연산자 추가
• SPARK-46955 구현 Frame.to_stata
• SPARK-46936 구현 Frame.to_feather
• SPARK-46655 메서드에서 쿼리 컨텍스트 취득 생략
• SPARK-46926 대체 목록에 convert_dtypes, infer_objects, 그리고 set_axis 추가
• SPARK-46683 테스트 범위를 늘리기 위해 하위 쿼리 순열을 생성하는 하위 쿼리 생성기를 작성합니다.
• SPARK-46777 일괄 처리 버전과 더 동등하도록 촉매 구조 리팩터링 StreamingDataSourceV2Relation
• SPARK-46620 프레임 메서드에 대한 기본 대체 메커니즘 소개
• SPARK-46808 자동 정렬 함수를 사용하여 Python에서 오류 클래스 구체화
• SPARK-46686 SparkSession 기반 Python UDF 프로파일러의 기본 지원
• SPARK-46258 더하다 RocksDBPersistenceEngine
• SPARK-46665 제거하다 assertPandasOnSparkEqual
• SPARK-46227withSQLConf에서 SQLHelper로 SQLConfHelper 이동
• SPARK-40876 Parquet 판독기에서 형식 승격 확대
• SPARK-46101 (string|array).size를 (string|array).length로 바꾸어 스택 깊이를 줄입니다.
• SPARK-46170 SparkSessionExtensions에서 적응 쿼리 포스트 플래너 전략 규칙 삽입 지원
• SPARK-46246EXECUTE IMMEDIATE SQL 지원
• SPARK-46466 벡터화된 Parquet 판독기는 타임스탬프 ntz에 대해 절대 리베이스를 수행해서는 안 됩니다.
• SPARK-46399 Spark 수신기를 사용하기 위해 Application End 이벤트에 종료 상태 추가
• SPARK-45506 SparkConnect addArtifact에 ivy URI 지원 추가
• SPARK-45597 SQL에서 Python 데이터 원본을 사용하여 테이블 만들기 지원(DSv2 exec)
• SPARK-46402 getMessageParameters 및 getQueryContext 지원 추가
• SPARK-46213 오류 프레임워크 소개 PySparkImportError
• SPARK-46226 남아 있는 모든 항목을 PySpark 오류 프레임워크로 마이그레이션
• SPARK-45886 DataFrame 컨텍스트에서 callSite 전체 스택 추적 출력
• SPARK-46256 ZSTD에 대한 병렬 압축 지원
• SPARK-46249 백그라운드 작업과의 경합을 방지하기 위해 RocksDB 메트릭을 획득하기 위한 인스턴스 잠금 필요
• SPARK-45667 관련된 사용되지 않는 API 사용량 정리 IterableOnceExtensionMethods
• SPARK-46254 부실 Python 3.8/3.7 버전 검사 제거
• SPARK-46213 오류 프레임워크 소개 PySparkImportError
• SPARK-46188 Spark 문서의 생성된 테이블 CSS 수정
• SPARK-45670 SparkSubmit는 K8에 배포할 때 지원하지 --total-executor-cores 않습니다.
• SPARK-46169 API에서 DataFrame 누락된 매개 변수에 적절한 JIRA 번호 할당
• SPARK-45022 데이터 세트 API 오류에 대한 컨텍스트 제공
• SPARK-46062 CTE 정의와 참조 간에 isStreaming 플래그 동기화
• SPARK-45698 관련된 사용되지 않는 API 사용량 정리 Buffer
• SPARK-45136 Ammonite 지원으로 ClosureCleaner 기능 강화
• SPARK-44442 Mesos 지원 제거
• SPARK-45996 Spark Connect에 대한 적절한 종속성 요구 사항 메시지 표시
• SPARK-45767 삭제 TimeStampedHashMap 및 해당 UT
• SPARK-45912 XSDToSchema API의 향상된 기능: 클라우드 스토리지 접근성을 위한 HDFS API로 변경
• SPARK-45338 다음으로 바꾸기 scala.collection.JavaConvertersscala.jdk.CollectionConverters
• SPARK-45828 dsl에서 사용되지 않는 메서드 제거
• SPARK-45718 Spark 3.4.0에서 사용되지 않는 나머지 Pandas 기능 제거
• SPARK-45990 지원하려면 4.25.1로 업그레이드 protobufPython 3.11
• SPARK-45941 버전 2.1.3으로 업그레이드 pandas
• SPARK-45555 실패한 어설션에 대한 디버깅 가능한 개체 포함
• SPARK-45710 오류 _LEGACY_ERROR_TEMP_21에 이름 지정하기[59,60,61,62]
• SPARK-45733 여러 재시도 정책 지원
• SPARK-45503 Conf를 추가하여 RocksDB 압축 설정
• SPARK-45614 오류 _LEGACY_ERROR_TEMP_215[6,7,8]에 이름 할당
• SPARK-45680 릴리스 세션
• SPARK-45620 CamelCase를 사용하도록 Python UDTF와 관련된 사용자 연결 API 수정
• SPARK-45634 Spark의 Pandas API에서 제거 DataFrame.get_dtype_counts
• SPARK-44752 XML: Spark 문서 업데이트
• SPARK-45523 Null을 허용하지 않는 열에 대해 UDTF가 None을 반환하는 경우 유용한 오류 메시지를 반환합니다.
• SPARK-45558 상태 저장 연산자를 스트리밍하기 위한 메타데이터 파일 소개
• SPARK-45390 사용량 제거 distutils
• SPARK-45517 더 많은 예외 생성자를 확장하여 오류 프레임워크 매개 변수 지원
• SPARK-45427 SSLOptions 및 SparkTransportConf에 RPC SSL 설정 추가
• SPARK-45581 SQLSTATE를 필수로 만듭니다.
• SPARK-44784 SBT 테스트 밀폐를 만듭니다.
• SPARK-45550 Spark의 Pandas API에서 사용되지 않는 API 제거
• SPARK-45415 RocksDB 상태 저장소에서 "fallocate"를 선택적으로 사용하지 않도록 설정 허용
• SPARK-45487 SQLSTATE 및 임시 오류 수정
• SPARK-45505 analyzeInPython을 리팩터링하여 재사용 가능
• SPARK-45451 데이터 세트 캐시의 기본 스토리지 수준을 구성할 수 있도록 설정
• SPARK-45065 Pandas 2.1.0 지원
• SPARK-45450 PEP8에 따라 가져오기 수정: pyspark.pandas 및 pyspark(코어)
• SPARK-43299 Scala 클라이언트에서 StreamingQueryException 변환
• SPARK-42617 pandas 2.0.0의 지원 isocalendar
• SPARK-45441 PythonWorkerUtils에 대한 더 많은 util 함수 소개
• SPARK-43620 Pandas API 수정은 지원되지 않는 기능에 따라 달라집니다.
• SPARK-45330 ammonite를 2.5.11로 업그레이드
• SPARK-45267 numeric_only 기본값을 변경합니다.
• SPARK-45303 KryoSerializerBenchmark에서 JDK 8/11 해결 방법 제거
• SPARK-43433의 동작을 최신 Pandas와 일치하도록 조정 GroupBy.nth
• SPARK-45166 에 대해 사용하지 않는 코드 경로 정리 pyarrow<4
• SPARK-44823 검은색을 23.9.1로 업데이트하고 잘못된 검사를 수정합니다.
• SPARK-45165 API에서 inplace 매개 변수 제거 CategoricalIndex
• SPARK-45180에서 inclusive의 매개 변수에 대한 부울 입력 제거 Series.between
• SPARK-45164 사용되지 않는 Index API 제거
• SPARK-45179 Numpy 최소 버전을 1.21로 늘입니다.
• SPARK-45177 에서 매개 변수 제거 col_spaceto_latex
• SPARK-43241MultiIndex.append 이름이 같은지 확인하지 않음
• SPARK-43123 모든 열이 개체 형식인 경우 TypeError에 대해 DataFrame.interpolate을(를) 발생시킵니다.
• SPARK-43295 에 대한 문자열 형식 열 지원 DataFrameGroupBy.sum
• SPARK-42619 DataFrame.info 대한 매개 변수 추가 show_counts
• SPARK-44863 Spark UI에서 스레드 덤프를 txt로 다운로드하는 단추 추가
• SPARK-44713 공유 클래스를 sql/api로 이동
• SPARK-44692 트리거를 sql/api로 이동
• SPARK-43563squeeze에서 read_csv를 제거하고 더 많은 테스트를 실행 가능하게 합니다.
• SPARK-43476 pandas 2.0.0 및 그 이상의 버전을 지원합니다 StringMethods
• SPARK-43872 pandas 2.0.0 이상을 지원합니다 (DataFrame|Series).plot.
• SPARK-42620 에 대한 매개 변수 추가 inclusive (DataFrame|Series).between_time
• SPARK-44289 pandas 2.0.0을 지원하고 indexer_between_time 더 많은 테스트를 활성화합니다.
• SPARK-42621 pd.date_range 대한 포괄 매개 변수 추가
• SPARK-43709closed 매개 변수를 제거하고 테스트를 활성화합니다.
• SPARK-43568 pandas 2를 위한 Categorical API 지원
• SPARK-44842 pandas 2.0.0에 대한 통계 함수를 지원하고 테스트를 사용하도록 설정합니다.
• SPARK-43606 제거 Int64IndexFloat64Index
• SPARK-43873 활성화 FrameDescribeTests
• SPARK-44841 pandas 2.0.0 이상 지원 value_counts
• SPARK-44686 Encoders.scala에서 RowEncoder를 만드는 기능을 추가합니다.
• SPARK-41400 Connect 클라이언트 촉매 종속성 제거
• SPARK-44538 Row.jsonValue 및 관련 항목 복원
• SPARK-44507 AnalysisException을 sql/api로 이동
• SPARK-44531 sql/api로 인코더 유추 이동
• SPARK-43744 서버 클래스 경로에서 스텁 사용자 클래스를 찾을 수 없기 때문에 발생하는 클래스 로드 문제 해결
• SPARK-36612 순서가 섞인 해시 조인에서 왼쪽 외부 조인 빌드 왼쪽 또는 오른쪽 외부 조인 빌드를 지원합니다.
• SPARK-44541 다음에서 쓸모없는 함수 hasRangeExprAgainstEventTimeCol 제거 UnsupportedOperationChecker
• SPARK-44059 기본 제공 함수에 대한 명명된 인수의 분석기 지원 추가
• SPARK-44216 assertSchemaEqual API를 공개하도록 설정
• SPARK-43755 SparkExecutePlanStreamHandler에서 다른 스레드로 실행 이동
• SPARK-44201 Spark Connect용 Scala에서 스트리밍 수신기에 대한 지원 추가
• SPARK-43965 Spark Connect에서 Python UDTF 지원
• SPARK-44398 Scala foreachBatch API
• SPARK-44044 스트리밍을 사용하여 Window 함수에 대한 오류 메시지 개선

Databricks ODBC/JDBC 드라이버 지원

Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 출시된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).

시스템 환경

• 운영 체제: Ubuntu 24.04.2 LTS
• Java: Zulu17.54+21-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.4.2
• 델타 레이크: 4.0.0

설치된 Python 라이브러리

설치된 R 라이브러리

R 라이브러리는 2025-03-20년 Posit 패키지 관리자 CRAN 스냅샷에서 설치됩니다.

설치된 Java 및 Scala 라이브러리(Scala 2.13 클러스터 버전)