Databricks Runtime 16.1(EoS)

다음 릴리스 정보는 Apache Spark 3.5.0에서 제공하는 Databricks Runtime 16.1에 대한 정보를 제공합니다.

Databricks는 2024년 12월에 이 버전을 출시했습니다.

동작 변경

주요 변경 사항: Photon 정규식 처리가 이제 Apache Spark와 일치합니다.

Databricks Runtime 15.4 이상에서는 Apache Spark 정규식 처리의 동작과 일치하도록 Photon의 정규식 처리가 업데이트됩니다. 이전에는 split() 및 regexp_extract()같은 Photon에서 실행하는 정규식 함수가 Spark 파서에서 거부된 일부 정규식을 수락했습니다. Apache Spark와의 일관성을 유지하기 위해 이제 Spark가 유효하지 않다고 간주하는 정규식에 대해 Photon 쿼리가 실패합니다.

이 변경으로 인해 Spark 코드에 잘못된 정규식이 포함된 경우 오류가 표시될 수 있습니다. 예를 들어, 일치하지 않는 중괄호를 포함한 식 split(str_col, '{')은 이전에 Photon에서 수락되었지만 이제는 실패합니다. 이 식을 수정하려면 중괄호 문자인 split(str_col, '\\{')이스케이프할 수 있습니다.

ASCII가 아닌 문자의 일부 정규식 일치에 대해서도 Photon 및 Spark 동작이 다릅니다. 또한 Photon이 Apache Spark 동작과 일치하게 업데이트됩니다.

VARIANT 데이터 형식은 더 이상 비교가 필요한 작업과 함께 사용할 수 없습니다.

Databricks Runtime 16.1 이상에서는 VARIANT 데이터 형식을 포함하는 쿼리에서 다음 절 또는 연산자를 사용할 수 없습니다.

• DISTINCT
• INTERSECT
• EXCEPT
• UNION
• DISTRIBUTE BY

또한 다음 DataFrame 함수를 사용할 수 없습니다.

• df.dropDuplicates()
• df.repartition()

이러한 작업은 비교를 수행하고 VARIANT 데이터 형식을 사용하는 비교는 정의되지 않은 결과를 생성하며 Databricks에서 지원되지 않습니다. Azure Databricks 워크로드 또는 테이블에서 VARIANT 형식을 사용하는 경우 Databricks는 다음과 같은 변경 사항을 권장합니다.

• 쿼리 또는 식을 업데이트하여 VARIANT 값을 비VARIANT 데이터 형식으로 명시적으로 캐스팅합니다.
• 위의 작업과 함께 사용해야 하는 필드가 있는 경우 VARIANT 데이터 형식에서 해당 필드를 추출하고 비VARIANT 데이터 형식을 사용하여 저장합니다.

자세한 내용은 쿼리 변형 데이터참조하세요.

새로운 기능 및 개선 사항

• BigQuery 커넥터 업그레이드
• Apache Spark에서 콜레이션 지원이 공개 미리보기 중입니다.
• Delta Lake의 정렬 지원은 공개 프리뷰 중입니다.
• 진공 모드 LITE은 공용 미리보기 상태입니다.
• 절 매개 변수화에 대한 지원
• COMMENT ON COLUMN 테이블 및 뷰에 대한 지원
• 새 SQL 함수
• 더 많은 함수에 대한 명명된 매개 변수 호출
• SYNC METADATA 명령의 REPAIR TABLE 매개 변수는 Hive 메타스토어로 지원됩니다.
• 압축된 Apache 화살표 일괄 처리에 대한 향상된 데이터 무결성
• Unity 카탈로그 표준 액세스 모드 컴퓨팅(이전의 공유 액세스 모드)에서 Scala 메서드에 대한 지원이 추가되었습니다.
• 내장 Teradata JDBC 드라이버
• Scala에 대한 StreamingQueryListener 지원
• 기본 제공 Oracle JDBC 드라이버
• 경로를 통해 액세스된 델타 테이블에 대한 더 자세한 오류

BigQuery 커넥터 업그레이드

• Google BigQuery 커넥터오픈 소스 Spark-BigQuery 커넥터버전 0.41.0을 사용하도록 업그레이드되었습니다.

• 레이크하우스 페더레이션용 Google BigQuery 커넥터는 이제 JDBC 드라이버 대신 BigQuery Storage API를 사용합니다. 이 마이그레이션은 JDBC 드라이버의 성능 문제를 해결하고 오픈 소스 Spark-BigQuery 커넥터를 기반으로 합니다.

  이 변경으로 BigQuery 뷰 및 외부 테이블에 대한 중간 쿼리 결과를 임시 테이블에 기록해야 합니다. 이러한 개체는 BigQuery 스토리지에 직접 저장되지 않습니다. 임시 테이블은 BigQuery 청구 프로젝트에 저장됩니다. BigQuery 서비스 계정에 적절한 권한이 설정되어 있는지 확인합니다. 자세한 내용은 Google BigQuery 페더레이션 쿼리 실행을 참조하세요.

Apache Spark의 데이터 정렬 지원은 공개 미리 보기로 제공됩니다.

이제 언어 인식, 대/소문자를 구분하지 않는 데이터 정렬 및 액세스를 구분하지 않는 데이터 정렬을 STRING 열 및 식에 할당할 수 있습니다. 이러한 데이터 정렬은 문자열 비교, 정렬, 그룹화 작업 및 많은 문자열 함수에 사용됩니다. 정렬 순서참조.

Delta Lake의 데이터 정렬 지원은 공개 미리 보기로 제공됩니다.

이제 델타 테이블을 만들거나 변경할 때 열에 대한 데이터 정렬을 정의할 수 있습니다. Delta Lake에 대한 데이터 정렬 지원을 참조하세요.

진공에 대한 LITE 모드가 공개 미리 보기로 제공됩니다.

이제 VACUUM table_name LITE 사용하여 델타 트랜잭션 로그의 메타데이터를 활용하는 더 가벼운 진공 작업을 수행할 수 있습니다. 전체 모드 및 라이트 모드를 VACUUM참조하세요.

USE CATALOG with IDENTIFIER 절 매개 변수화 지원

Databricks Runtime 16.1 이상에서는 IDENTIFIER이 USE CATALOG 문에 지원됩니다. 이 지원을 사용하면 문자열 변수 또는 매개 변수 표식을 기반으로 현재 카탈로그를 매개 변수화할 수 있습니다.

테이블 및 뷰에 대한 COMMENT ONCOLUMN 지원

Databricks Runtime 16.1 이상에서 COMMENT ON 문은 보기 및 테이블 열에 대한 주석 변경을 지원합니다.

새 SQL 함수

Databricks Runtime 16.1 이상에서는 다음과 같은 새로운 기본 제공 SQL 함수를 사용할 수 있습니다.

• dayname(expr) 은 지정된 날짜의 요일에 대한 세 글자 영어 약어를 반환합니다.
• uniform(expr1, expr2 [,seed]) 은 지정된 숫자 범위 내에서 독립적이고 동일하게 분산된 값을 가진 임의 값을 반환합니다.
• randstr(length) 는 알파 숫자 문자의 length 임의의 문자열을 반환합니다.

더 많은 함수에 대한 명명된 매개 변수 호출

Databricks Runtime 16.1 이상에서 다음 함수는 명명된 매개변수 호출을 지원합니다.

• 변형_폭발
• variant_explode_outer
• 인라인
• inline_outer
• posexplode (포세폭발)
• posexplode_outer (포스익스플로드_아우터)

SYNC METADATA 명령에 대한 REPAIR TABLE 매개 변수는 Hive 메타스토어에서 지원됩니다.

Databricks Runtime 16.1 이상에서는 SYNC METADATA 명령과 함께 REPAIR TABLE 매개 변수를 사용하여 Hive 메타스토어 관리 테이블의 메타데이터를 업데이트할 수 있습니다. REPAIR TABLE을(를) 참조하세요.

압축된 Apache Arrow 배치에 대한 향상된 데이터 무결성

Databricks Runtime 16.1 이상에서는 데이터 손상으로부터 추가로 보호하기 위해, 이제 모든 LZ4 압축된 Arrow 일괄 처리에 LZ4 콘텐츠 및 블록 체크섬이 포함됩니다. LZ4 프레임 형식 설명을 참조하세요.

Unity 카탈로그 표준 액세스 모드 컴퓨팅에서 Scala 메서드에 대한 지원 추가(이전의 공유 액세스 모드)

Databricks Runtime 16.1 이상에서는 Unity 카탈로그 표준 액세스 모드 컴퓨팅에서 Dataset.flatMapGroups(), Dataset.mapGroups()및 DataStreamWriter.foreach()같은 Scala 메서드에 대한 지원이 추가됩니다.

기본 제공 Teradata JDBC 드라이버

Databricks Runtime 16.1 이상에서는 Teradata JDBC 드라이버가 Azure Databricks에 기본 제공됩니다. DriverManager통해 고객이 업로드한 JDBC 드라이버 JAR을 사용하는 경우 사용자 지정 JAR을 명시적으로 사용하도록 스크립트를 다시 작성해야 합니다. 그렇지 않으면 기본 제공 드라이버가 사용됩니다. 이 드라이버는 Lakehouse 페더레이션만 지원합니다. 다른 사용 사례의 경우 사용자 고유의 드라이버를 제공해야 합니다.

Scala에 대한 StreamingQueryListener 지원

이제 표준 액세스 모드로 구성된 컴퓨팅의 Scala에서 StreamingQueryListener 사용할 수 있습니다.

기본 제공 Oracle JDBC 드라이버

Databricks Runtime 16.1 이상에서는 Oracle JDBC 드라이버가 Azure Databricks에 기본 제공됩니다. DriverManager통해 고객이 업로드한 JDBC 드라이버 JAR을 사용하는 경우 사용자 지정 JAR을 명시적으로 사용하도록 스크립트를 다시 작성해야 합니다. 그렇지 않으면 기본 제공 드라이버가 사용됩니다. 이 드라이버는 Lakehouse 페더레이션만 지원합니다. 다른 사용 사례의 경우 사용자 고유의 드라이버를 제공해야 합니다.

경로로 액세스된 델타 테이블에 대한 자세한 오류

이제 경로를 사용하여 액세스하는 델타 테이블에 대한 새로운 오류 메시지 환경을 사용할 수 있습니다. 이제 모든 예외가 사용자에게 전달됩니다. 기본 파일을 델타 테이블로 읽을 수 없는 경우에 대비해 이제 예외 DELTA_MISSING_DELTA_TABLE이 예약됩니다.

기타 변경 사항

cloudFiles 구조적 스트리밍 원본에 대한 이름 변경된 오류 코드

이 릴리스에는 다음 오류 코드의 이름을 바꾸는 변경 내용이 포함되어 있습니다.

• _LEGACY_ERROR_TEMP_DBR_0143가 CF_INCORRECT_STREAM_USAGE으로 이름이 변경되었습니다.
• _LEGACY_ERROR_TEMP_DBR_0260가 CF_INCORRECT_BATCH_USAGE 으로 이름이 변경되었습니다.

버그 수정

이제 중첩 형식이 NULL 제약 조건을 적절하게 수락합니다.

이 릴리스에서는 중첩된 형식의 일부 델타 생성 열에 영향을 주는 버그(예: STRUCT)를 수정합니다. 이러한 열은 중첩 필드의 NULL 또는 NOT NULL 제약 조건에 따라 식을 잘못 거부하는 경우가 있습니다. 이 문제가 해결되었습니다.

라이브러리 업그레이드

• 업그레이드된 Python 라이브러리:
  • ipyflow-core 0.0.198에서 0.0.201로
  • pyccolo 0.0.52에서 0.0.65로
• 업그레이드된 R 라이브러리:
• 업그레이드된 Java 라이브러리:
  • io.delta.delta-sharing-client_2.12에서 1.2.1부터 1.2.2로
  • org.lz4.lz4-java 1.8.0 버전에서 1.8.0-databricks-1 버전으로 변경
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider에서 1.6.2-linux-x86_64에서 2.4.1-linux-x86_64로

Apache Spark

Databricks Runtime 16.1에는 Apache Spark 3.5.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 16.0(EoS)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

• [SPARK-50482] [SC-182879][core] 사용되지 않는 no-op spark.shuffle.spill 설정
• [SPARK-50032] [SC-182706][sql][16.x] 정규화된 데이터 정렬 이름 사용 허용
• [SPARK-50467] [SC-182823][python] 기본 제공 함수에 대한 __all__ 추가
• [SPARK-48898] [SC-182828][sql] 변형 파쇄 버그 수정
• [SPARK-50441] [SC-182668][sql] CTE를 참조할 때 작동하지 않는 매개 변수 식별자 수정
• [SPARK-50446] [SC-182639][python] Apache Arrow로 최적화된 Python UDF 내의 동시성 수준
• [SPARK-50430] [SC-182536][core] 수동 복제 대신 표준 Properties.clone 사용
• [SPARK-50471] [SC-182790][python] 지원 화살표 기반 Python 데이터 원본 기록기
• [SPARK-50466] [SC-182791][python] 문자열 함수에 대한 문서 문자열 다듬기 - 파트 1
• [SPARK-50194] [DBR16.x][sc-182593][SS][python] 새 타이머 API 및 초기 상태 API와 타이머 통합
• [SPARK-50437] [SC-182586][ss] TransformWithStateExec에서 역직렬 변환기를 만드는 오버헤드 줄이기
• [SPARK-49676] [DBR16.x][sc-182538][SS][python] 체인에 대한 지원 추가...
• [SPARK-49294] [SC-182730][ui] 셔플-쓰기-시간 체크박스에 너비 속성을 추가합니다.
• [SPARK-50426] [SC-182540][python] 기본 제공 또는 Java 데이터 원본을 사용할 때 정적 Python 데이터 원본 조회 방지
• [SPARK-48356] [SC-182603][sql] FOR 문 지원
• [SPARK-50333] [SC-182136][sql] CsvToStructs에 대한 코드 생성 지원 (Invoke 및 RuntimeReplaceable)
• [SPARK-50285] [SC-182575] StagedTable 인스턴스에 대한 커밋에 대한 측정 지표
• [SPARK-50081] [SC-182344][sql] & RuntimeReplaceable 호출로 XPath*Codegen 지원
• [SPARK-50440] [SC-182592] [SQL] AttributeSeq.resolveCandidates를 리팩터링
• [SPARK-50067] [SC-179648][sql] SchemaOfCsv를 위한 Codegen 지원(Invoke 및 RuntimeReplaceable)
• [SPARK-49873] [SC-178577][sql] 병합 후 오류 테스트에서 발생하는 오류 수정
• [SPARK-50118] [SC-181259][connet] 작업이 실행 중일 때 격리된 상태 캐시 다시 설정
• [SPARK-49873] [SC-178577][sql] _LEGACY_ERROR_TEMP_1325에 적절한 오류 클래스를 올바르게 할당
• [SPARK-50381] [SC-182197][core] 지원 spark.master.rest.maxThreads
• [SPARK-46725] [SC-182448][sql] DAYNAME 함수 추가
• [SPARK-50270] [SC-181179][ss][PYTHON] TransformWithStateInPandas에 대한 사용자 지정 상태 메트릭 추가
• [SPARK-50118] 되돌리기 "[SC-181259][connect] 작업이 실행 중일 때 격리된 상태 캐시를 초기화"
• [SPARK-50075] [SC-181820][sql][PYTHON][connect] 테이블 반환 함수에 대한 DataFrame API 추가
• [SPARK-49470] [SC-175736][ui] dataTables 스타일시트 및 javascripts를 1.13.5에서 1.13.11로 업데이트
• [SPARK-50235] "[SC-180786][sql] ColumnarToRowExec의 모든 행을 처리한 후 ColumnVector 리소스 정리" 되돌리기
• [SPARK-50324] [SC-182278][python][CONNECT] createDataFrame 트리거 Config RPC를 최대 한 번만 실행하기
• [SPARK-50387] [SC-182441][ss] 타이머 만료 및 관련 테스트에 대한 업데이트 조건
• [SPARK-50287] [SC-182400][sql] FileTable에서 WriteBuilder를 만들 때 테이블 및 관계의 병합 옵션
• [SPARK-50066] [SC-181484][sql] 코드 생성 지원 (Invoke 및 RuntimeReplaceable 호출)
• [SPARK-50092] [SC-181568][sql] 다차원 배열에 대한 PostgreSQL 커넥터 동작 수정
• [SPARK-50318] [SC-181641][sql] IntervalUtils.makeYearMonthInterval을 추가하여 해석된 코드와 codegen 간에 코드를 중복 제거합니다.
• [SPARK-50312] [SC-181646][sql] SparkThriftServer createServer 매개 변수 전달 오류(kerberos가 true인 경우)
• [SPARK-50246] [SC-181468][sql] _LEGACY_ERROR_TEMP_2167에 대한 적절한 오류 조건 할당: INVALID_JSON_RECORD_TYPE
• [SPARK-50214] [SC-180692][sql] json/xml에서 지정된 스키마의 데이터 정렬을 변경하지 않아야 합니다.
• [SPARK-50250] [SC-181466][sql] _LEGACY_ERROR_TEMP_2075적절한 오류 조건 할당: UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
• [SPARK-50248] [SC-181467][sql] _LEGACY_ERROR_TEMP_2058적절한 오류 조건 할당: INVALID_PARTITION_VALUE
• [SPARK-50118] [SC-181259][connet] 작업이 실행 중일 때 격리된 상태 캐시 다시 설정
• [SPARK-50235] [SC-180786][sql] ColumnarToRowExec의 모든 행을 처리한 후 ColumnVector 리소스 정리
• [SPARK-50156] [SC-180781][sql] _LEGACY_ERROR_TEMP_2113을(를) UNRECOGNIZED_STATISTIC에 통합하다
• [SPARK-50069] [SC-180163][sql] _LEGACY_ERROR_TEMP_0028를 UNSUPPORTED_FROM_TO_EXPRESSION에 통합
• [SPARK-50154] [SC-180663][sql] _LEGACY_ERROR_TEMP_0043적절한 오류 조건 할당: INVALID_RESET_COMMAND_FORMAT
• [SPARK-49967] [SC-179534][sql] (StructsToJson)에서 to_jsonCodegen 지원
• [SPARK-50055] [SC-180978][sql] TryMakeInterval 대체 추가
• [SPARK-50397] [SC-182367][core] --ip 더 이상 사용되지 않는 -i 및 Master/Worker 인수 제거
• [SPARK-50238] [SC-181434][python] PySpark UDF/UDTF/UDAF 및 Python UC UDF에 Variant 지원 추가
• [SPARK-50079] [SC-179830][sql] _LEGACY_ERROR_TEMP_2013적절한 오류 조건 할당: NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
• [SPARK-50182] [SC-180346][예제] submit-sql.sh REST API 예제 추가
• [SPARK-49966] [SC-179501][sql] Invoke 사용하여 JsonToStructs구현(from_json)
• [SPARK-50302] [SC-182518][ss] TTL을 사용하여 TransformWithState 상태 저장 변수의 보조 인덱스 크기가 기본 인덱스 크기와 같은지 확인합니다.
• [SPARK-50301] [SC-182241][ss][16.x] TransformWithState 메트릭이 직관적인 의미를 반영하도록 조정합니다.
• [SPARK-50175] [SC-182140][sql] 데이터 정렬 우선 순위 계산 변경
• [SPARK-50148] [SC-180292][sql] throw 예외를 선언하는 메서드와 StaticInvoke 호환되도록 설정
• [SPARK-50280] [SC-181214][python] 리팩터링 결과 정렬 및 빈 bin 채우기가 compute_hist
• [SPARK-50190] [SC-182458][python] 히스토그램에서 Numpy의 직접 종속성 제거
• [SPARK-50382] [SC-182368][connect] Spark Connect를 사용/확장하는 애플리케이션 개발에 대한 일반 정보 설명서 추가
• [SPARK-50296] [SC-181464][python][CONNECT] Python Connect 클라이언트용 threadpool에서 클래스 속성 사용 방지
• [SPARK-49566] [SC-182239][sql] EXTEND 연산자에 대한 SQL 파이프 구문 추가
• [SPARK-50036] [SC-179533][core][PYTHON] REPL 셸의 컨텍스트에 SPARK_LOG_SCHEMA 포함
• [SPARK-49859] [SC-178259][connect] multiprocessing.ThreadPool을 ThreadPoolExecutor로 교체하기
• [SPARK-50141] [SC-182378][python] lpad와 rpad가 열 형식 인수를 수락하도록 수정합니다.
• [SPARK-50379] [SC-182142][sql] WindowExecBase에서 DayTimeIntevalType 처리 수정
• [SPARK-49954] [SC-179110][sql] SchemaOfJson에 대한 Codegen 지원(& RuntimeReplaceable 호출)
• [SPARK-50398] [SC-182341][core] Spark 스크립트에서 0 사용에 ExitCode --help 사용
• [SPARK-50377] [SC-182238][sql] 접을 수 있는 RuntimeReplaceable을 평가할 수 있도록 허용
• [SPARK-50241] [SC-181444][sql] NullIntolerant Mixin을 Expression.nullIntolerant 메서드로 바꾸기
• [SPARK-50084] [SC-179672][sql] _LEGACY_ERROR_TEMP_3168적절한 오류 조건 할당: MISSING_TIMEOUT_CONFIGURATION
• [SPARK-50078] [SC-179649][sql] _LEGACY_ERROR_TEMP_0038적절한 오류 조건 할당: DUPLICATED_CTE_NAMES
• [SPARK-50057] [SC-179573][sql] _LEGACY_ERROR_TEMP_1049적절한 오류 조건 할당: INVALID_ATTRIBUTE_NAME_SYNTAX
• [SPARK-50070] [SC-179579][sql] _LEGACY_ERROR_TEMP_0039를 UNSUPPORTED_SQL_STATEMENT에 통합
• [SPARK-50378] [SC-182235][ss] transformWithState에서 처음 상태에 사용된 비용을 추적하기 위한 사용자 정의 메트릭 추가
• [SPARK-50029] [SC-179531][sql] StaticInvoke를 반환하는 메서드와 호환되도록 Any를 조정하다
• [SPARK-49990] [SC-179497][sql] randStr 성능 향상
• [SPARK-50048] [SC-179528][sql] _LEGACY_ERROR_TEMP_2114에 적절한 오류 조건을 할당: UNRECOGNIZED_STATISTIC
• [SPARK-50053] [SC-179532][sql] _LEGACY_ERROR_TEMP_2104를 INTERNAL_ERROR로 변경
• [SPARK-49665] [SC-180054][sql] 문자열 함수에 대한 트리밍 데이터 정렬 지원
• [SPARK-48549] [SC-176472][sql][PYTHON] SQL 함수 sentences 개선
• [SPARK-50022] [SC-179503][core][UI] UI를 사용하지 않도록 설정할 때 앱 UI 링크를 숨기도록 MasterPage 수정
• [SPARK-50087] [SC-182152] MS SQL Server 및 향후 커넥터용 CASE WHEN에서 불린 식의 보다 견고한 처리
• [SPARK-49991] [SC-179481][sql] HadoopMapReduceCommitProtocol이 'mapreduce.output.basename'을 존중하여 파일 이름을 생성하도록 합니다.
• [SPARK-50038] [SC-179521][sql] _LEGACY_ERROR_TEMP_0008에 대한 적합한 오류 조건 할당: MERGE_WITHOUT_WHEN
• [SPARK-50236] [SC-181671][sql] _LEGACY_ERROR_TEMP_1156오류 조건을 적절하게 할당하기: COLUMN_NOT_DEFINED_IN_TABLE
• [SPARK-50021] [SC-179500][core][UI] UI를 사용하지 않도록 설정할 때 앱 UI 링크를 숨기도록 ApplicationPage 수정
• [SPARK-49911] [SC-179111][sql] 이진 등가 지원의 의미 체계 수정
• [SPARK-50025] [SC-179496][sql] _LEGACY_ERROR_TEMP_1253를 EXPECT_VIEW_NOT_TABLE에 통합합니다.
• [SPARK-49829] [SC-179480][ss] 스트림 간 조인에서 상태 저장소 최적화에 입력을 추가하는 데 대한 버그 수정
• [SPARK-50004] [SC-179499][sql] _LEGACY_ERROR_TEMP_3327를 FIELD_NOT_FOUND에 통합하다
• [SPARK-50380] [SC-182210][sql] ReorderAssociativeOperator는 ConstantFolding에서 계약을 준수해야 합니다.
• [SPARK-50340] [SC-181859][sql] INSERT 입력 쿼리에서 UDT 풀기
• [SPARK-50237] [SC-181660][sql] _LEGACY_ERROR_TEMP_2138-9에 적절한 오류 조건을 할당: CIRCULAR_CLASS_REFERENCE
• [SPARK-50258] [SC-181993][sql] AQE 최적화 후 출력 열 순서 변경 문제 해결
• [SPARK-49773] [SC-178369][sql] make_timestamp()에서 발생한 잘못된 표준 시간대의 처리되지 않은 Java 예외
• [SPARK-49977] [SC-179265][sql] 스택 기반 반복 계산을 사용하여 심층 식 트리에 많은 Scala List 개체를 만들지 않도록 방지
• [SPARK-50153] [SC-181591][sql] name을/를 RuleExecutor에 추가하여 QueryExecutionMetrics의 로그를 더 명확하게 인쇄하기 위해
• [SPARK-50320] [SC-181668][core] --remote 경고를 제거하여 experimental 공식 옵션으로 만들기
• [SPARK-49909] [SC-179492] 되돌리기 “[SQL] 일부 식의 예쁜 이름 수정”
• [SPARK-50330] [SC-180720][sc-181764][SQL] 정렬 및 창 노드에 힌트 추가
• [SPARK-50364] [SC-182003][sql] Row.jsonValue에서 LocalDateTime 형식에 대한 serialization 구현
• [SPARK-50016] [SC-182139][sql] _LEGACY_ERROR_TEMP_2067대한 적절한 오류 조건 할당: UNSUPPORTED_PARTITION_TRANSFORM
• [SPARK-49899] [SC-181175][python][SS] TransformWithStateInPandas에 대한 deleteIfExists 지원
• [SPARK-49757] [SC-177824][sql] IDENTIFIERSET 문에서 CATALOG 식 지원
• [SPARK-50315] [SC-181886][sql] V1Fallback 쓰기에 대한 사용자 지정 메트릭 지원
• [SPARK-42838] [SC-181509][sql] 오류 클래스에 이름 할당 _LEGACY_ERROR_TEMP_2000
• [SPARK-50353] [SC-181985][sql] ResolveSQLOnFile 모듈 리팩터링
• [SPARK-48344] [SC-181967][sql] 실행 프레임워크 추가를 위한 SQL 스크립팅 준비
• [SPARK-49345] [SC-174786][connect] 현재 실행 중인 Spark 세션을 사용해야 합니다.
• [SPARK-49925] [SC-178882][sql] 정렬된 문자열을 사용하여 순서에 대한 테스트 추가
• [SPARK-50167] [SC-181199][python][CONNECT] PySpark 그리기 오류 메시지 및 가져오기 개선
• [SPARK-49368] [SC-174999][connect] protobuf lite 클래스에 직접 액세스하지 마십시오.
• [SPARK-50056] [SC-181378][sql] ParseUrl에 대한 Codegen 지원(& RuntimeReplaceable 호출)
• [SPARK-49601] [SC-180770][ss][PYTHON] TransformWithStateInPandas에 대한 초기 상태 처리 지원
• [SPARK-49908] [SC-178768][sql] _LEGACY_ERROR_TEMP_0044 적절한 오류 조건 할당
• [SPARK-50144] [SC-180307][ss] DSv1 스트리밍 원본을 사용하여 메트릭 계산의 제한 사항 해결
• [SPARK-49874] [SC-178303][sql] 트리밍 및 ltrim 데이터 정렬 지정자를 제거합니다.
• [SPARK-49513] [SC-180339][ss] transformWithStateInPandas API에서 타이머에 대한 지원 추가
• [SPARK-49119] [SC-175607][sql] v1과 v2 간의 구문 show columns 불일치 수정
• [SPARK-49206] [SC-173704][core][UI] 마스터 Environment Variables에 EnvironmentPage 테이블 추가
• [SPARK-49934] [SC-179581][sql] 리터럴을 사용하여 데이터 정렬된 맵에 액세스하기 위한 암시적 캐스트 추가
• [SPARK-50049] [SC-181659][sql] v2 테이블에 데이터를 기록할 때 사용자 지정 드라이버 메트릭 지원
• [SPARK-50171] [SC-180295][python] KDE 플롯에 대해 numpy 선택 사항으로 설정
• [SPARK-49962] [SC-179320][sql] AbstractStringTypes 클래스 계층 구조 간소화
• [SPARK-50226] [SC-181483][sql] Java 예외를 포착하기 위해 MakeDTInterval 및 MakeYMInterval 수정
• [SPARK-48775] [SC-170801][sql][STS] SQLContext를 STS의 SparkSession으로 바꾸기
• ko-KR: [SPARK-49015] [SC-175688][core] Connect Server는 spark.log.structuredLogging.enabled를 고려해야 한다.
• [SPARK-50327] [SC-181667][sql][16.x] 단일 패스 분석기에서 재사용하기 위한 함수 해상도를 분리
• [SPARK-49995] [SC-180762][sql] 더 많은 TVF에 명명된 인수 지원 추가
• [SPARK-49268] [SC-174903][core] SHS 기록 제공자에서 IO 예외 기록 하기
• [SPARK-48123] [SC-164989][core] 구조적 로그 쿼리를 위한 상수 테이블 스키마 제공
• [SPARK-49217] [SC-174904][core] UnsafeShuffleWriter에서 별도의 버퍼 크기 구성 지원
• [SPARK-50325] [SC-181664][sql][16.x] 단일 패스 분석기에서 다시 사용할 수 있도록 별칭 해석을 추출하기
• [SPARK-50322] [SC-181665][sql] 하위 쿼리에서 매개 변수가 있는 식별자 수정
• [SPARK-48400] [SC-175283][core] PrometheusServlet을 DeveloperApi으로 승격시키기
• [SPARK-50118] 되돌리기 "[SC-181259][connect] 작업이 실행 중일 때 격리된 상태 캐시를 초기화"
• [SPARK-50306] [SC-181564][python][CONNECT] Spark Connect에서 Python 3.13 지원
• [SPARK-50152] [SC-181264][ss] 상태 데이터 원본 판독기에서 handleInitialState 지원
• [SPARK-50260] [SC-181271][connect] Spark C 리팩터링 및 최적화...
• [SPARK-47591] [SC-163090][sql] Hive-thriftserver: 구조적 로깅 프레임워크에 변수를 사용하여 logInfo 마이그레이션
• [SPARK-49312] [SC-174672][python] assertSchemaEqual 대한 오류 메시지 개선
• [SPARK-49439] [SC-175236][sql] FromProtobuf & ToProtobuf 식의 예쁜 이름 수정
• [SPARK-50092] [ES-1258521] 다차원 배열에 대한 PostgreSQL 커넥터 동작 수정
• [SPARK-49913] [SC-181565][sql] 중첩된 레이블 범위에서 고유한 레이블 이름을 확인하는 기능 추가
• [SPARK-49563] [SC-181465][sql] WINDOW 연산자에 대한 SQL 파이프 구문 추가
• [SPARK-49661] [SC-179021][sql] 트리밍 데이터 정렬 해시 및 비교를 구현합니다.
• [SPARK-38912] [SC-181543][python] classmethod 및 속성과 관련된 주석 제거
• [SPARK-49770] [16.x][sc-179802][SC-179270][ss][RocksDB 강화] RocksDB SST 파일 매핑 관리 개선 및 기존 스냅샷으로 동일한 버전 다시 로드 관련 문제 해결
• [SPARK-49002] "[SC-172846][sql] WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY에서 잘못된 위치를 일관되게 처리"를 되돌리기.
• [SPARK-49668] [SC-178268][sql] 트림 컬레이션에 대한 컬레이션 키 지원 구현
• [SPARK-50262] [SC-181193][sql] 콜레이션 변경 시 복합 타입 명시 금지
• [SPARK-48898] [SC-181435][sql] Variant 파쇄 함수 추가
• [SPARK-48273] [SC-181381]Revert "[SQL] PlanWithUnresolvedIdentifier의 늦은 다시 쓰기 수정
• [SPARK-50222] [SC-180706][core] 지원 spark.submit.appName
• [SPARK-50208] [SC-180662][core] 지원 spark.master.useDriverIdAsAppName.enabled
• [SPARK-50224] [SC-180689][sql] IsValidUTF8, ValidateUTF8, TryValidateUTF8, MakeValidUTF8의 대체 함수는 NullIntolerant여야 합니다.
• [SPARK-50247] [SC-180962][core] BLOCK_MANAGER_REREGISTRATION_FAILED를 ExecutorExitCode로 정의
• [SPARK-50282] [SC-181221][ml] TargetEncoderModel.transform 단순화
• [SPARK-50112] [SC-180763][sql] TransformWithState 연산자가 Avro 인코딩을 사용하도록 허용
• [SPARK-50267] [SC-181180][ml] DataFrame API를 사용하여 TargetEncoder.fit 개선
• [SPARK-37178] [SC-180939][ml] ml.feature에 대상 인코딩 추가
• [SPARK-50118] [SC-181259][connet] 작업이 실행 중일 때 격리된 상태 캐시 다시 설정
• [SPARK-50085] [BEHAVE-176][sc-179809][PYTHON] np.int8로 numpy 데이터 유형을 준수하여 lit(ndarray) 만들기
• [SPARK-50256] [SC-181048][sql] 모든 최적화 프로그램 규칙 후에 논리 계획이 해결되지 않는지 확인하는 간단한 유효성 검사 추가
• [SPARK-50196] [SC-180932][connect] 적절한 컨텍스트를 사용하도록 Python 오류 컨텍스트 수정
• [SPARK-50274] [SC-181181][core] DirectByteBufferOutputStream에서 사용 후 닫기 방지 보호
• [SPARK-49999] [SC-180063][python][CONNECT] box, kde 및 hist 플롯에서 "column"이라는 선택적 매개 변수를 지원합니다
• [SPARK-50273] [SC-181178][ss] RocksDB 잠금 획득/릴리스 사례에 대한 로깅 개선
• [SPARK-50033] [SC-180720][sc-180659][SQL] 논리적 Aggregate() 노드에 힌트를 추가합니다.
• [SPARK-50163] [16.x][sc-180201][SC-180664][ss] 완료 리스너로 인한 RocksDB의 추가 acquireLock 해제 수정
• [SPARK-50253] [SC-180969][ss] Stream-Stream 조인은 지원되지 않는 경우 검사점 ID를 가져오지 않아야 합니다.
• [SPARK-50255] [SC-180964][python] compute_hist에서 불필요한 캐스팅 방지
• [SPARK-50228] [SC-180780][sql] RewriteCollationJoin 규칙을 FinishAnalysis로 이동
• [SPARK-50001] [SC-179524][python][PS][connect] 상자 그림에 대한 키워드 인수(kwargs)의 일부로 "정밀도"를 조정합니다.
• [SPARK-49637] [SC-180160][sql] INVALID_FRACTION_OF_SECOND에 대한 오류 메시지가 변경되었습니다.
• [SPARK-49530] [SC-180658][python] 데이터 프레임에서 활성 세션 가져오기
• [SPARK-50195] [SC-180654][core] StandaloneRestServer를 spark.app.name에 제대로 전파하도록 SparkSubmit를 수정
• [SPARK-50229] [SC-180773] 논리 계획 중에 만든 AttributeReference 개체의 수명을 줄여 광범위한 스키마에 대한 드라이버의 메모리 사용량을 줄입니다.
• [SPARK-50231] [SC-180815][python] 함수가 instr 열 substring을(를) 수용하도록 합니다.
• [SPARK-49854] [SC-179812][16.x][SQL] 세션을 복제할 때 아티팩트 매니저 복제
• [SPARK-50219] [SC-180694][sql] 도우미 메서드를 단일 패스 확인자에서 사용할 수 있도록 ApplyCharTypePadding의 구조를 개선.
• [SPARK-50077] [SC-179827][sql] 기본 전체 매개 변수 패턴을 방지하는 데 도움이 되도록 LogicalRelation에 대한 새 패턴 개체 소개
• [SPARK-50128] [Backport][16x][SC-180677][ss] Scala에서 암시적 인코더를 사용하여 상태 저장 프로세서 핸들 API 추가
• [SPARK-50061] [SC-179961][sql] 정렬된 열들에 대해 테이블 분석 사용
• [SPARK-49993] [SC-180084][sql] Sum 및 Average에 대한 오류 메시지 개선
• [SPARK-49638] [SC-179665][sql] INVALID_URL에서 ANSI 구성 제안 삭제
• [SPARK-50204] [SC-180660][sql] HiveTableRelation 읽기 경로 해상도를 분리합니다.
• [SPARK-50193] [SC-180651][ss] 시간 모드 유효성 검사에 대한 예외 처리 수정
• [SPARK-50179] [SC-180342][core] REST API에서 spark.app.name 속성을 선택 사항으로 만들기
• [SPARK-50068] [SC-180300][sql] TypeCoercion 및 AnsiTypeCoercion을 리팩터링하여 단일 노드 변환을 분리하도록 합니다.
• [SPARK-49411] [SC-179483][ss] 드라이버와 상태 저장소 연산자 간에 상태 저장소 체크포인트 ID 통신
• [SPARK-50124] [SC-180294][sql] LIMIT/OFFSET 데이터 순서를 유지해야 합니다.
• [SPARK-49506] [SC-180165][sql] 접을 수 있는 배열에 ArrayBinarySearch 최적화
• [SPARK-50097] [SC-179908][sql] _LEGACY_ERROR_TEMP_1248적절한 오류 조건 할당: ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
• [SPARK-50071] [SC-180159][sql][PYTHON] try_make_timestamp(_ltz 및 _ntz) 및 관련 테스트 추가
• [SPARK-50054] [SC-180228][python][CONNECT] 히스토그램 플롯 지원
• [SPARK-50015] [SC-179964][sql] _LEGACY_ERROR_TEMP_1125적절한 오류 조건 할당: MISSING_DATABASE_FOR_V1_SESSION_CATALOG
• [SPARK-50155] [SC-180240][3.5] scala 및 java 파일을 기본 폴더로 이동
• [SPARK-49980] [SC-180353][core][SQL] 취소된 작업의 중단으로 인한 잠재적인 파일 스트림 누수 수정
• [SPARK-49010] [SC-172304][sql][XML] XML 스키마 유추 대/소문자 구분에 대한 단위 테스트 추가
• [SPARK-49562] [SC-180211][sql] 집계를 위한 SQL 파이프 구문 추가
• [SPARK-49663] [SC-180239][sql] 데이터 정렬 식에서 RTRIM 제안 사용
• [SPARK-48965] [SC-175926][sql] Dataset#toJSON 올바른 스키마 사용
• [SPARK-48493] [SC-175893][python] 향상된 성능을 위해 직접 화살표 일괄 처리를 지원하여 Python 데이터 원본 판독기 향상
• [SPARK-49734] [SC-180226][python] 함수 seed 대한 shuffle 인수 추가
• [SPARK-50174] [16.x][sc-180253][SQL] UnresolvedCatalogRelation 해법을 분리합니다.
• [SPARK-49989] [SC-179512][python][CONNECT] kde/밀도 플롯 지원
• [SPARK-49805] [SC-180218][sql][ML] function.scala에서 private[xxx] 함수 제거
• [SPARK-49808] [SC-179490][sql] 지연 vals로 인한 하위 쿼리 실행의 교착 상태 수정
• [SPARK-49929] [SC-180144][python][CONNECT] 박스플롯 지원
• [SPARK-50008] [SC-179290][ps][CONNECT] attach_distributed_sequence_column 불필요한 작업 방지
• [SPARK-49767] [SC-180161][ps][CONNECT] 내부 함수 호출 리팩터링
• [SPARK-49683] [SC-178341][sql] 블록 트림 정렬
• [SPARK-49939] [SC-178941][sql] json_object_keys에 대한 코드 생성 지원 (Invoke 및 RuntimeReplaceable)
• [SPARK-50031] [SC-179582][sql] TryParseUrl 식 추가
• [SPARK-49766] [SC-178933][sql] json_array_length Codegen 지원(Invoke & RuntimeReplaceable기준)
• [SPARK-50046] [SC-180026][ss] EventTimeWatermark 노드의 안정적인 순서를 사용하여 워터마크 계산
• [SPARK-49540] [SC-180145][ps] distributed_sequence_id 사용량 통합
• [SPARK-50060] [SC-179965][sql] TypeCoercion과 AnsiTypeCoercion에서 서로 다른 데이터 정렬된 형식 간의 변환을 사용하지 않도록 설정
• [SPARK-49004] [SC-173244][connect] Column API 내부 함수에 별도의 레지스트리 사용
• [SPARK-49811] [SC-177888][sql]StringTypeAnyCollation 이름 바꾸기
• [SPARK-49202] [SC-180059][ps] 히스토그램에 ArrayBinarySearch 적용
• [SPARK-49203] [SC-175734][sql] java.util.Arrays.binarySearch 대한 식 추가
• [SPARK-50034] [SC-179816][core] 심각한 오류를 잡히지 않은 예외로 잘못 보고된 문제를 수정합니다 SparkUncaughtExceptionHandler
• [SPARK-50093] [SC-179836][sql] 데이터 정렬에서 ICU를 사용하는 경우 사용된 ICU 라이브러리의 버전이 있어야 합니다.
• [SPARK-49985] [SC-179644][sql] Variant에서 간격 유형에 대한 지원 제거
• [SPARK-49103] [SC-173066][core] 지원 spark.master.rest.filters
• [SPARK-50090] [SC-179819] ResolveBinaryArithmetic을 별도의 단일 노드 변환으로 리팩터링
• [SPARK-49902] [SC-179650][sql] RegExpReplace 근본적인 런타임 오류 잡기
• [SPARK-49126] [SC-173342][core] spark.history.ui.maxApplications 구성 정의를 History.scala로 이동하다
• [SPARK-50094] [SC-179820][python][CONNECT] 줄 번호가 없는 편집기에서 메모리 프로파일러를 사용할 때 더 나은 오류 메시지
• [SPARK-50062] [SC-179835][sql] InSet별 데이터 정렬 지원
• [SPARK-50035] [Backport][16x][SC-179530][ss] 상태 저장 프로세서의 명시적 handleExpiredTimer 함수 부분에 대한 지원 추가
• [SPARK-49982] [SC-179814][sql] InMemoryRelation에서 부정 캐싱 수정
• [SPARK-49082] [SC-173350][sql] AvroDeserializer 형식 승격 확대
• [SPARK-50088] [SC-179680][sql] 리팩터링 UnresolvedStarBase.expand
• [SPARK-49802] [SC-179482][ss] 상태 저장 프로세서에 사용되는 지도 및 목록 형식에 대한 읽기 변경 피드에 대한 지원 추가
• [SPARK-49846] [SC-179506][ss] transformWithState 연산자와 함께 사용할 numUpdatedStateRows 및 numRemovedStateRows 메트릭 추가
• [SPARK-50050] [SC-179643][python][CONNECT][16.x] lit이 str 및 bool 타입의 numpy ndarray를 허용하도록 수정합니다.
• [SPARK-49821] [SC-179527][ss][PYTHON] TransformWithStateInPandas에 대한 MapState 및 TTL 지원 구현
• [SPARK-49558] [SC-179485][sql] LIMIT/OFFSET 및 ORDER/SORT/CLUSTER/DISTRIBUTE BY 대한 SQL 파이프 구문 추가
• [SPARK-48144] [SC-165725][lc-4080][SQL] 셔플 조인 힌트를 반영하도록 canPlanAsBroadcastHashJoin 수정
• [SPARK-50051] [SC-179571][python][CONNECT] 빈 numpy ndarray에서 lit가 작동하도록 수정합니다.
• [SPARK-50018] [SC-179488][sql] AbstractStringType 직렬화 가능으로 설정
• [SPARK-50016] [SC-179491][sql] 명시적 데이터 정렬 불일치 오류 개선
• [SPARK-50010] [SC-179487][sql] 암시적 정렬 불일치 오류 확장
• [SPARK-48749] [SC-170116][sql] UnaryPositive 간소화 및 RuntimeReplaceable을 사용하여 촉매 규칙 제거
• [SPARK-49857] [SC-178576][sql] Dataset localCheckpoint API에 storageLevel 추가
• [SPARK-50058] [SC-179538][sql] 나중에 단일 패스 분석기 테스트에서 이를 사용할 수 있도록 계획 정규화 기능을 분리합니다.
• [SPARK-50052] [SC-179535][python][16.X] NumpyArrayConverter에서 빈 str ndarray를 지원합니다.
• [SPARK-47261] [SC-173665][sql] 오류 _LEGACY_ERROR_TEMP_1172, _LEGACY_ERROR_TEMP_1173 및 _LEGACY_ERROR_TEMP_1174에 대한 더 나은 이름 지정
• [SPARK-49147] [SC-173471][core] DeveloperApi 인터페이스를 사용하여 KryoRegistrator 표시
• [SPARK-48949] [SC-173070][sql] SPJ: 런타임 파티션 필터링
• [SPARK-50044] [SC-179523][python] 여러 수학 함수의 문서 문자열 개선
• [SPARK-48757] [SC-170113][core] 명시적 생성자를 IndexShuffleBlockResolver 추가하기
• [SPARK-50037] [SQL] AttributeSeq.resolve(…) 메소드 리팩터링
• [SPARK-48782] [SC-177056][sql] 카탈로그에서 프로시저 실행에 대한 지원 추가
• [SPARK-49057] [SC-173081][sql] 쿼리 단계를 제출할 때 AQE 루프를 차단하지 마세요.
• [SPARK-48824] [SC-176772][behave-167][SQL] ID 열 SQL 구문 추가
• [SPARK-48773] [SC-170773] 구성 작성기 프레임워크를 사용하여 "spark.default.parallelism"을 문서화하기.
• [SPARK-48735] [SC-169810][sql] BIN 함수의 성능 향상
• [SPARK-48900] [SC-172433] 작업/단계 취소를 위한 모든 내부 호출에 reason 필드 추가
• [SPARK-48488] [SC-167605][core] log[info|warning|error] 메서드를 SparkSubmit에서 수정
• [SPARK-48708] [SC-169809][core] KryoSerializer 불필요한 형식 등록 3개 제거
• [SPARK-49958] [SC-179312][python] 문자열 유효성 검사 함수용 Python API
• [SPARK-49979] [SC-179264][sql] 실패한 계획에서 두 번 데이터를 수집할 때 AQE가 멈추는 문제 해결
• [SPARK-48729] [SC-169795][sql] SQL 함수를 나타내는 UserDefinedFunction 인터페이스 추가
• [SPARK-49997] [SC-179279][sql] _LEGACY_ERROR_TEMP_2165를 MALFORMED_RECORD_IN_PARSING에 통합하기
• [SPARK-49259] [SC-179271][ss]kafka 읽기 중 크기 기반 파티션 만들기
• [SPARK-48129] [SC-165006][python] 구조적 로그 쿼리를 위해 PySpark에 상수 테이블 스키마 제공
• [SPARK-49951] [SC-179259][sql] LEGACY_ERROR_TEMP적절한 오류 조건 할당(1099|3085)
• [SPARK-49971] [SC-179278][sql] _LEGACY_ERROR_TEMP_1097에 대한 적절한 오류 조건을 할당합니다.
• [SPARK-49998] [SC-179277][sql] _LEGACY_ERROR_TEMP_1252를 EXPECT_TABLE_NOT_VIEW에 통합
• [SPARK-49876] [SC-179262][connect] Spark Connect 서비스에서 전역 잠금 제거
• [SPARK-49957] [SC-179202][sql] 문자열 유효성 검사 함수에 대한 Scala API
• [SPARK-48480] [SC-173055][ss][CONNECT] StreamingQueryListener는 spark.interrupt()의 영향을 받지 않아야 합니다.
• [SPARK-49643] [SC-179239][sql] _LEGACY_ERROR_TEMP_2042를 ARITHMETIC_OVERFLOW로 병합한다
• [SPARK-49959] [SC-179109][sql] ColumnarArray.copy()를 수정하여 올바른 오프셋에서 null을 읽습니다.
• [SPARK-49956] "[SC-179070] collect_set 식과 함께하는 데이터 정렬 비활성화"를 되돌리기
• [SPARK-49987] [SC-179180][sql] seedExpression가 randstr에서 접을 수 없는 경우 오류 메시지 수정
• [SPARK-49948] [SC-179158][ps][CONNECT] Spark의 pandas 박스 플롯에 "precision" 매개변수 추가
• [SPARK-49970] [SC-179167][sql] _LEGACY_ERROR_TEMP_2069 적절한 오류 조건 할당
• [SPARK-49916] [SC-179108][sql] 일부 행에서 ColumnType과 데이터 형식 간의 형식 불일치에 대해 적절한 예외를 던지다
• [SPARK-49956] [SC-179070] collect_set 식을 사용한 데이터 정렬 사용 안 함
• [SPARK-49974] [16.x][sc-179071][SQL] Analyzer.scala에서 resolveRelations(...) 이동
• [SPARK-47259] [SC-176437][sql] 간격 오류에 대한 오류 조건에 이름 할당
• [SPARK-47430] [SC-173679][sql] 바인딩 참조 예외를 해결하기 위해 지도 형식별 그룹 재작업
• [SPARK-49067] [SC-172616][sql] utf-8 리터럴을 UrlCodec 클래스의 내부 메서드로 이동
• [SPARK-49955] [SC-178989][sql] null 값은 JSON 문자열 RDD를 구문 분석할 때 손상된 파일을 의미하지 않습니다.
• [SPARK-49393] [SC-175212][sql] 사용되지 않는 카탈로그 플러그 인 API에서 기본적으로 실패
• [SPARK-49952] [SC-178985][sql] _LEGACY_ERROR_TEMP_1142에 적절한 오류 조건을 할당하다
• [SPARK-49405] [SC-175224][sql] JsonOptions에서 문자 집합 제한
• [SPARK-49892] [SC-178975][sql] _LEGACY_ERROR_TEMP_1136에 적절한 오류 클래스를 할당
• [SPARK-49904] [SC-178973][sql] _LEGACY_ERROR_TEMP_2140 대한 적절한 오류 조건 할당
• [SPARK-47257] [SC-174244][sql] 오류 클래스에 이름 할당 _LEGACY_ERROR_TEMP_105[3-4] 및 _LEGACY_ERROR_TEMP_1331
• [SPARK-49915] [SC-178869][sql] ReorderAssociativeOperator에서 0과 1 처리
• [SPARK-49891] [SC-178970][sql] _LEGACY_ERROR_TEMP_2271에 적절한 오류 조건을 지정하기
• [SPARK-49918] [SC-178748][core] 적절한 경우 읽기 전용 액세스를 사용하여 설정에 액세스하세요 SparkContext.
• [SPARK-49666] [SC-177891][sql] 잘라내기 정렬 기능에 대한 기능 옵션 추가
• [SPARK-48885] [SC-171050][sql] RuntimeReplaceable의 일부 하위 클래스를 지연 val로 대체하기 위해 재정의합니다.
• [SPARK-49932] [SC-178931][core] 메모리 누수 방지를 위해 tryWithResource 릴리스 JsonUtils#toJsonString 리소스 사용
• [SPARK-49949] [SC-178978][ps] attach_sequence_column 불필요한 분석 작업 방지
• [SPARK-49924] [SC-178935][sql] containsNull 교체 후 ArrayCompact 유지
• [SPARK-49121] [SC-174787][sql] SQL 함수에 대한 from_protobuf 및 to_protobuf 지원
• [SPARK-47496] [SC-160529][sql] 동적 JDBC 언어 등록을 위한 Java SPI 지원
• [SPARK-49359] [SC-174895][sql] StagedTableCatalog 구현이 비원자 쓰기로 대체되도록 허용
• [SPARK-49895] [SC-178543][sql][ES-1270338] SELECT 절에서 후행 쉼표가 발생할 때 오류 개선
• [SPARK-47945] [SC-163457][sql] MsSQLServer: Microsoft SQL Server의 문서 매핑 Spark SQL 데이터 형식 및 테스트 추가
• [SPARK-46037] [SC-175495][sql] 코드 생성 없이 빌드된 정렬된 해시 조인에 대한 정확성 수정
• [SPARK-47813] [SC-162615][sql] getArrayDimension을 updateExtraColumnMeta로 바꾸기
• [SPARK-49542] [SC-178765][sql] 파티션 변환 예외 평가 오류
• [SPARK-47172] [SC-169537][core] RPC 암호화에 대한 AES-GCM 대한 지원 추가
• [SPARK-47666] [SC-161476][sql] mysql 비트 배열을 LongType으로 읽을 때 NPE 수정
• [SPARK-48947] [SC-174239][sql] 캐시 미스를 줄이기 위해 Charset.forName에서 소문자 문자 집합 이름을 사용합니다.
• [SPARK-49909] [SC-178552][sql] 일부 식의 예쁜 이름 수정
• [SPARK-47647] [SC-161377][sql] MySQL 데이터 원본이 Postgres와 같은 BinaryType으로 bit(n>1)를 읽을 수 있도록 합니다.
• [SPARK-46622] [SC-153004][core] toString에 대한 o.a.s.network.shuffledb.StoreVersion 메서드 재정의
• [SPARK-48961] [SC-171910][python] PySparkException의 매개 변수 이름을 JVM과 일치하게 만듭니다.
• [SPARK-49889] [SC-178474][python] 함수에 대한 인수 trim 추가trim/ltrim/rtrim
• [SPARK-47537] [SC-160747][sql] MySQL 커넥터/J에서 오류 데이터 형식 매핑 수정
• [SPARK-47628] [SC-161257][sql] Postgres 비트 배열의 '부울로 변환할 수 없음' 문제 해결
• [SPARK-49843] [SC-178084][es-1268164][SQL] char/varchar 열에 대한 변경 설명 수정
• [SPARK-49549] [SC-178764][sql] _LEGACY_ERROR_TEMP_3055 오류 조건에 이름 할당, 3146
• [SPARK-49791] [SC-177730][sql] DelegatingCatalogExtension을 더 확장 가능하게 만들기
• [SPARK-49559] [SC-178551][sql] 집합 작업에 대한 SQL 파이프라인 구문 추가
• [SPARK-49906] [SC-178536][sql] PartitioningUtils에 CONFLICTING_DIRECTORY_STRUCTURES 오류 소개 및 사용
• [SPARK-49877] [SC-178392][sql] classifyException 함수 서명 변경: isRuntime 인수 추가
• [SPARK-47501] [SC-160532][sql] JdbcDialect용 기존 convertTimestampToTimestamp와 같은 convertDateToDate 추가
• [SPARK-49044] [SC-175746][sql] ValidateExternalType이 오류로 자식을 반환해야 합니다.
• [SPARK-47462] [SC-160460][sql] MySQLDialect에서 TINYINT를 사용하여 서명되지 않은 다른 숫자 형식의 매핑 맞춤
• [SPARK-47435] [SC-160129][sql] SPARK-45561로 인한 MySQL UNSIGNED TINYINT의 오버플로 문제 해결
• [SPARK-49398] [SC-176377][sql] CACHE TABLE 및 CREATE VIEW 쿼리에서 매개 변수에 대한 오류를 개선합니다.
• [SPARK-47263] [SC-177012][sql] 레거시 조건에 _LEGACY_ERROR_TEMP_13 이름 할당[44-46]
• [SPARK-49605] [SC-176605][sql] ascendingOrder가 DataTypeMismatch에서 SortArray일 때 프롬프트 수정.
• [SPARK-49806] [SC-178304][sql][CONNECT] blank space 및 show 클라이언트에서 Scala 후 중복 Connect 제거
• [SPARK-47258] [SC-175032][sql] 오류 클래스에 이름 할당 _LEGACY_ERROR_TEMP_127[0-5]
• [SPARK-49564] [SC-178461][sql] JOIN 연산자에 대한 SQL 파이프 구문 추가
• [SPARK-49836] [SC-178339][sql][SS] 창/세션_창 함수에 창이 제공될 때 잠재적으로 손상될 수 있는 쿼리 수정
• [SPARK-47390] [SC-163306][sc-159312][SPARK-47396][sc-159376][SPARK-47406] Postgres 및 MySQL에 대한 SQL 타임스탬프 매핑 처리
• [SPARK-49776] [SC-177818][python][CONNECT] 원형 플롯 지원
• [SPARK-49824] [SC-178251][ss][CONNECT] SparkConnectStreamingQueryCache에서 로깅 개선
• [SPARK-49894] [SC-178460][python][CONNECT] 열 필드 작업의 문자열 표현 구체화
• [SPARK-49764] [SC-177491][python][CONNECT] 지원 영역 그림
• [SPARK-49694] [SC-177376][python][CONNECT] 산점도 지원
• [SPARK-49744] [SC-178363][ss][PYTHON] TransformWithStateInPandas에서 ListState에 대한 TTL 지원 구현
• [SPARK-49879] [SC-178334][core] Java 컴파일 경고를 제거하기 위해 TransportCipherUtil 별도의 파일로 이동
• [SPARK-49866] [SC-178353][sql] 파티션 열이 있는 테이블을 설명하기 위한 오류 메시지 개선
• [SPARK-49867] [SC-178302][es-1260570][SQL] GetColumnByOrdinal을 호출할 때 인덱스가 범위를 벗어났을 때 오류 메시지 개선
• [SPARK-49607] [SC-177373][python] 샘플링된 기반 플롯에 대한 샘플링 방법 업데이트
• [SPARK-49626] [SC-177276][python][CONNECT] 가로 및 세로 막대 그림 지원
• [SPARK-49531] [SC-177770][python][CONNECT] plotly 백엔드의 선 그래프 지원
• [SPARK-49444] [SC-177692][es-1203248][SQL] ArrayIndexOutOfBounds로 인한 런타임 예외를 더 많은 사용자 지향 메시지와 함께 throw하도록 UnivocityParser 수정
• [SPARK-49870] [SC-178262][python] Spark 클래식에서 Python 3.13 지원 추가
• [SPARK-49560] [SC-178121][sql] TABLESAMPLE 연산자에 대한 SQL 파이프 구문 추가
• [SPARK-49864] [SC-178305][sql] BINARY_ARITHMETIC_OVERFLOW 메시지 개선
• [SPARK-48780] [SC-170274][sql] 함수 및 프로시저를 처리하기 위해 NamedParametersSupport의 오류 처리를 일반화하기
• [SPARK-49358] [SC-178158][sql] 정렬된 문자열이 있는 지도 형식에 대한 모드 식
• [SPARK-47341] [SC-178157][sql] RuntimeConfig#get의 부정확한 설명서 수정
• [SPARK-48357] [SC-178153][sql] LOOP 문 지원
• [SPARK-49845] [SC-178059][core] REST API에서 appArgs 및 environmentVariables 선택 사항으로 만들기
• [SPARK-49246] [SC-174679][sql] TableCatalog#loadTable은 쓰기용인지 여부를 표시해야 합니다.
• [SPARK-48048] [SC-177525][sc-164846][CONNECT][ss] Scala에 대한 클라이언트 쪽 수신기 지원이 추가됨
• [SPARK-48700] [SC-177978][sql] 복합 형식에 대한 모드 식(모든 데이터 정렬)
• [SPARK-48196] [SC-177899][sql] QueryExecution의 lazy val 계획을 LazyTry로 전환
• [SPARK-49749] [16.x][sc-177877][CORE] BlockManagerInfo에서 디버그하도록 로그 수준 변경
• [SPARK-49561] [SC-177897][sql] PIVOT 및 UNPIVOT 연산자의 SQL 파이프 구문 추가
• [SPARK-49823] [SC-177885][ss] rocksdb 종료 경로에서 플러시 방지
• [SPARK-49820] [SC-177855] [PYTHON] raise IOError을 raise OSError으로 변경합니다.
• [SPARK-49653] [SC-177266][sql] 상관 관계 스칼라 하위 쿼리에 대한 단일 조인
• [SPARK-49552] [SC-177477][python] 새 'randstr' 및 'uniform' SQL 함수에 대한 DataFrame API 지원 추가
• [SPARK-48303] [16.x][sc-166251][CORE] LogKeys 재구성하다
• [SPARK-49656] [16x][backport][SS] 값 상태 컬렉션 형식 및 읽기 변경 피드 옵션을 사용하여 상태 변수에 대한 지원 추가
• [SPARK-48112] [SC-165129][connect] 플러그 인에 SparkConnectPlanner의 세션 노출
• [SPARK-48126] [16.x][sc-165309][Core] spark.log.structuredLogging.enabled를 효과적으로 설정
• [SPARK-49505] [SC-176873][sql] 범위 내에서 임의의 문자열 또는 숫자를 생성하는 새 SQL 함수 "randstr" 및 "uniform"을 만듭니다.
• [SPARK-49463] [SC-177474] TransformWithStateInPandas에 대한 ListState 지원
• [SPARK-48131] [SC-165007][core] MDC 키 mdc.taskName 및 task_name 통합
• [SPARK-49557] [SC-177227][sql] WHERE 연산자에 대한 SQL 파이프 구문 추가
• [SPARK-49323] [16.x][sc-174689][CONNECT] Spark Connect Server의 테스트 폴더에서 서버의 주 폴더로 MockObserver 이동
• [SPARK-49745] [SC-177501][ss] 상태 데이터 원본 판독기를 통해 등록된 타이머를 읽기 위한 변경 내용 추가
• [SPARK-49772] [16.x][sc-177478][SC-177214][ss] ColumnFamilyOptions 제거 및 RocksDB의 dbOptions에 직접 구성 추가

Databricks ODBC/JDBC 드라이버 지원

Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 출시된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).

Databricks Runtime 16.1 유지 관리 업데이트참조하세요.

시스템 환경

• 운영 체제: Ubuntu 24.04.1 LTS
  • 참고: Databricks 런타임 컨테이너에서 사용하는 Ubuntu 버전입니다. DBR 컨테이너는 다른 Ubuntu 버전 또는 Linux 배포를 사용할 수 있는 클라우드 공급자의 가상 머신에서 실행됩니다.
• Java: Zulu17.54+21-CA
• Scala: 2.12.15
• Python: 3.12.3
• R: 4.4.0
• 델타 레이크: 3.2.1

설치된 Python 라이브러리

설치된 R 라이브러리

R 라이브러리는 2024-08-04: https://packagemanager.posit.co/cran/2024-08-04/Posit 패키지 관리자 CRAN 스냅샷에서 설치됩니다.

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)