서버리스 컴퓨팅 릴리스 정보

이 문서에서는 Notebook 및 작업에 대한 서버리스 컴퓨팅에서 현재 사용 가능하고 예정된 기능과 동작에 대해 설명합니다.

서버리스 컴퓨팅에 대한 자세한 내용은 서버리스 컴퓨팅에 연결을 참조하세요.

Azure Databricks는 서버리스 컴퓨팅에 대한 업데이트를 주기적으로 릴리스하여 서버리스 컴퓨팅 런타임을 자동으로 업그레이드하여 플랫폼에 대한 향상된 기능 및 업그레이드를 지원합니다. 모든 사용자는 단기간에 배포된 동일한 업데이트를 받습니다.

서버리스 환경 버전

노트북과 작업을 위한 서버리스 컴퓨팅은 응용 프로그램 호환성을 보장하기 위해 Spark Connect를 기반으로 안정적인 클라이언트 API를 제공하는 환경 버전을 사용합니다. Databricks는 서버를 독립적으로 업그레이드하여 성능 개선, 보안 강화 및 버그 수정을 제공하면서 작업 부하에 대한 코드 변경 없이 이를 수행할 수 있습니다.

각 환경 버전에는 특정 파이썬 버전과 정의된 버전의 파이썬 패키지 세트가 포함되어 있습니다. Databricks는 최신 환경 버전에서 새로운 기능과 수정 사항을 도입하고, 지원되는 모든 환경 버전에 보안 업데이트를 적용합니다.

서버리스 환경 버전 릴리스 정보는 서버리스 환경 버전을 참조하세요.

릴리스 정보

이 섹션에는 서버리스 컴퓨팅에 대한 릴리스 정보가 포함되어 있습니다. 릴리스 정보는 연도 및 주별로 구성됩니다. 서버리스 컴퓨팅은 항상 여기에 나열된 가장 최근에 릴리스된 버전을 사용하여 실행됩니다.

• 서버리스 성능 목표는 GA입니다.
• 버전 16.4
• 이제 서버리스 작업에서 성능 모드를 구성할 수 있습니다.
• 버전 16.3
• 버전 16.2
• 서버리스 노트북에서 사용할 수 있는 고용량 메모리 설정(공개 프리뷰)
• 버전 16.1
• 버전 15.4
• JDK가 JDK 8에서 JDK 17로 업그레이드됨
• 버전 15.1
• 버전 14.3

서버리스 성능 목표는 GA입니다.

2025년 6월 10일

이제 작업 및 파이프라인에 대한 서버리스 성능 설정을 선택할 수 있습니다.

성능 최적화 설정을 사용하도록 설정하면 워크로드가 더 빠른 시작 및 실행 시간을 위해 최적화됩니다. 사용하지 않도록 설정하면 서버리스 워크로드가 표준 성능 모드에서 실행되며, 이는 비용에 최적화되고 시작 대기 시간이 약간 더 깁니다.

자세한 내용은 성능 모드 선택 및 성능 모드 선택을 참조하세요.

버전 16.4

2025년 5월 28일

이 서버리스 컴퓨팅 릴리스는 Databricks Runtime 16.4 LTS에 대략 해당합니다.

동작 변경

• 데이터 원본 캐시된 계획에 대한 옵션을 준수하도록 수정: 이 업데이트는 캐시된 첫 번째 테이블 읽기뿐만 아니라 캐시된 모든 데이터 원본 계획에 대해 설정된 테이블 읽기 존중 옵션을 보장합니다. 이전에는 데이터 원본 테이블 읽기가 첫 번째 계획을 캐시했지만 후속 쿼리에서 다른 옵션을 고려하지 못했습니다.

• MERGE 작업에서 원본 구체화를 요구하는 플래그를 활성화합니다. 이전에는 사용자가 merge.materializeSource를 none로 설정하여 MERGE에서 원본 구체화를 해제할 수 있었습니다. 새 플래그를 사용하도록 설정하면 원본 구체화가 항상 필요하며, 이를 사용하지 않도록 설정하면 오류가 발생합니다. Databricks는 이전에 이 구성을 변경하지 않은 고객에게만 이 플래그를 사용하도록 설정할 계획이므로 대부분의 사용자는 동작이 변경되지 않아야 합니다.

새로운 기능

• 이제 자동 로더가 원본 디렉터리에서 처리된 파일을 정리할 수 있습니다. 이제 자동 로더에게 처리된 파일을 자동으로 이동하거나 삭제하도록 지시할 수 있습니다. 자동 로더 옵션을 사용하여 이 기능에 참여합니다 cloudFiles.cleanSource. 에서 자동 로더 옵션을 참조하세요 cloudFiles.cleanSource.

• 델타 테이블에서 스트리밍에 대해 추가된 형식 확장 지원: 이 릴리스에서는 형식이 확장된 열 데이터가 있는 델타 테이블에서 스트리밍하고 Databricks-to-Databricks Delta Sharing를 사용하여 형식 확장이 활성화된 Delta 테이블을 공유하기 위한 지원을 추가합니다. 형식 확대 기능은 현재 공개 미리 보기로 제공됩니다. 타입 확장을 참조하세요.

• IDENTIFIER 이제 카탈로그 작업을 위해 DBSQL에서 지원을 사용할 수 있습니다. 이제 다음 카탈로그 작업을 수행할 때 절을 사용할 IDENTIFIER 수 있습니다.

  • CREATE CATALOG
  • DROP CATALOG
  • COMMENT ON CATALOG
  • ALTER CATALOG

  이 새로운 구문을 사용하면 이러한 작업에 정의된 매개 변수를 사용하여 카탈로그 이름을 동적으로 지정하여 보다 유연하고 재사용 가능한 SQL 워크플로를 사용할 수 있습니다. 예를 들어, 구문에서는 CREATE CATALOG IDENTIFIER(:param)가 param을 사용하여 카탈로그 이름을 지정하는 매개 변수로 제공됩니다. IDENTIFIER 조항참조하세요.

• 이제 데이터 정렬된 식은 자동 생성된 임시 별칭을 제공합니다. 이제 데이터 정렬된 식에 대한 자동 생성된 별칭이 정보를 결정적으로 통합 COLLATE 합니다. 자동 생성된 별칭은 일시적이며(불안정) 의존해서는 안 됩니다. 대신, 모범 사례로 일관되고 명시적으로 사용합니다 expression AS alias .

• Python 데이터 원본에 필터 푸시다운 API 지원 추가: 서버리스 컴퓨팅은 이제 인터페이스와 유사한 API로 읽은 Python 데이터 원본 일괄 처리에 대한 필터 푸시다운을 SupportsPushDownFilters 지원합니다. 16.4 LTS 릴리스 정보를 참조하세요.

• Python UDF 추적 복구 개선: Python UDF 추적은 이제 클라이언트 프레임과 함께 드라이버와 실행기 모두의 프레임을 포함하므로 더 크고 관련성이 높은 세부 정보(예: UDF 내 프레임의 줄 내용)를 표시하는 더 나은 오류 메시지가 생성됩니다.

• 보기 내에서 UNION/EXCEPT/INTERSECT를 EXECUTE IMMEDIATE 실행하고 올바른 결과를 반환합니다. 최상위 수준의 UNION/EXCEPT/INTERSECT 임시 및 영구 뷰 정의에 대한 쿼리 키워드가 별칭으로 간주되었으므로 UNION/EXCEPT/INTERSECT 별칭이 없는 열과 별칭이 없는 열은 이전에 잘못된 결과를 반환했습니다. 이제 이러한 쿼리는 전체 집합 작업을 올바르게 수행합니다.

• 데이터 소스 캐시된 계획 구성 및 마이그레이션 가이드: 파일 소스 테이블에서 읽을 때 쿼리 옵션(예: 구분 기호)을 올바르게 준수합니다. 이전에는 첫 번째 쿼리 계획이 캐시되었고 후속 옵션 변경 내용이 무시되었습니다. 이전 동작을 복원하려면 spark.sql.legacy.readFileSourceTableCacheIgnoreOptionstrue설정합니다.

• 새 listagg 기능 및 string_agg 함수: 이 릴리스부터 listagg 또는 string_agg 함수를 사용하여 STRING 및 BINARY 값을 그룹 내에서 집계할 수 있습니다. string_agg 참조하세요.

이제 서버리스 작업에서 성능 모드를 구성할 수 있습니다.

2025년 4월 14일

이제 작업 세부 정보 페이지에서 성능 최적화 설정을 사용하여 서버리스 작업의 성능 모드를 선택할 수 있습니다. 이전에는 모든 서버리스 작업이 성능 최적화되었습니다. 이제 성능 최적화 설정을 사용하지 않도록 설정하여 표준 성능 모드에서 워크로드를 실행할 수 있습니다. 표준 성능 모드는 약간 더 높은 시작 대기 시간이 허용되는 워크로드의 비용을 절감하도록 설계되었습니다.

표준 성능 모드는 연속 파이프라인, 엔드포인트를 사용하여 runs/submit 만든 일회성 실행 또는 구체화된 뷰를 포함한 SQL 웨어하우스 작업 작업에 지원되지 않습니다.

성능 모드에 대한 자세한 내용은 성능 모드 선택을 참조하세요.

버전 16.3

2025년 4월 9일

이 서버리스 컴퓨팅 릴리스는 Databricks Runtime 16.3에 대략 해당합니다.

동작 변경

• *잘못된 값이 할당되었을 때 kafka.sasl.client.callback.handler.class 의 오류 메시지 개선: 이 릴리스에는 잘못된 값이 할당되었을 때 kafka.sasl.client.callback.handler.class 보다 설명적인 오류 메시지를 반환하기 위한 변경 내용이 포함되어 있습니다.

새로운 기능

• 상태 판독기 지원은 GA입니다. 구조적 스트리밍 쿼리에 대한 상태 정보 읽기 지원은 이제 서버리스 컴퓨팅에서 일반 공급됩니다. 구조적 스트리밍 상태 정보 읽기를 참조하세요.

• 델타 테이블 프로토콜 다운그레이드가 검사점 보호와 함께 정식 출시되었습니다DROP FEATURE. 이는 Delta Lake 테이블 기능을 제거하고 테이블 프로토콜을 다운그레이드할 수 있는 기능을 제공하는 것입니다. 기본적으로 DROP FEATURE 대기 시간 또는 기록 잘림이 필요하지 않은 보다 최적화되고 간소화된 다운그레이드 환경을 위해 보호된 검사점을 만듭니다. Delta Lake 테이블 기능 삭제 및 테이블 프로토콜 다운그레이드를 참조하세요.

• ANSI SQL/PSM(공개 미리 보기)을 기반으로 하는 절차적 SQL 스크립트 작성: 이제 ANSI SQL/PSM을 기반으로 하는 스크립팅 기능을 사용하여 제어 흐름 문, 지역 변수 및 예외 처리를 비롯한 SQL로 절차 논리를 작성할 수 있습니다. SQL 스크립팅을 참조하세요.

• 테이블 및 뷰 수준 기본 데이터 정렬: 이제 테이블 및 뷰에 대한 기본 데이터 정렬을 지정할 수 있습니다. 이렇게 하면 모든 열 또는 대부분의 열이 동일한 데이터 정렬을 공유하는 테이블 및 뷰 만들기가 간소화됩니다. 데이터 정렬을 참조하세요.

• 새로운 H3 함수: h3_try_coverash3, h3_try_coverash3string및h3_try_tessellateaswkb 세 가지 새로운 H3 함수가 추가되었습니다.

• 한 ALTER TABLE 문에서 여러 테이블 열을 변경합니다. 이제 단일 ALTER TABLE 문에서 여러 열을 변경할 수 있습니다. ... ALTER TABLE 절을 참조하세요COLUMN.

버전 16.2

2025년 3월 13일

이 서버리스 컴퓨팅 릴리스는 Databricks Runtime 16.2에 대략 해당합니다.

동작 변경

• 델타 공유에서 테이블 기록은 기본적으로 사용하도록 설정됩니다. 이제 SQL 명령을 ALTER SHARE <share> ADD TABLE <table> 사용하여 만든 공유에는 기본적으로 기록 공유(WITH HISTORY)가 사용하도록 설정됩니다. ALTER SHARE를 참조하십시오.

• 자격 증명 SQL 문은 자격 증명 형식이 일치하지 않을 때 오류를 반환합니다. 이제 자격 증명 관리 SQL 문에 지정된 자격 증명 형식이 자격 증명 인수의 형식과 일치하지 않으면 오류가 반환되고 문이 실행되지 않습니다.

새로운 기능

• 생성된 열 식에서 timestampdiff 및 timestampadd 사용 이제 Delta Lake에서 생성된 열 식에서 timestampdiff 및 timestampadd 함수를 사용할 수 있습니다. Delta Lake에서 생성된 열을 참조하세요.

• 구조화된 JSON으로 메타데이터를 반환하도록 DESCRIBE TABLE 업데이트: 이제 이 명령을 사용하여 DESCRIBE TABLE AS JSON 테이블 메타데이터를 JSON 문서로 반환할 수 있습니다. JSON 출력은 사람이 읽을 수 있는 기본 보고서보다 구조화되어 있으며 테이블의 스키마를 프로그래밍 방식으로 해석하는 데 사용할 수 있습니다. 자세한 내용은 AS JSON DESCRIBE TABLE 참조하세요.

• 후행 공백 무시 데이터 정렬: 서버리스는 이제 후행 공백을 구분하지 않는 데이터 정렬을 지원합니다. 예를 들어 이러한 정렬 방식은 'Hello'과 'Hello '을 동일하게 간주합니다. 자세한 내용은 RTRIM 데이터 정렬 참조하세요.

버그 수정

• 향상된 증분 클론 처리: 이번 릴리스에는 원본 테이블에서 대상 테이블로 이미 복사된 파일이 증분 처리에서 다시 복사되는 특수한 경우를 수정한 사항이 포함되어 있습니다. Azure Databricks에서 테이블 복제를 참조하세요.

서버리스 Notebook에서 사용 가능한 높은 메모리 설정(공개 미리 보기)

2025년 2월 7일

이제 서버리스 컴퓨팅 Notebook 워크로드에 대해 더 높은 메모리 크기를 구성할 수 있습니다. 이 설정은 대화형 및 예약된 Notebook 워크로드 모두에 적용할 수 있습니다.

메모리가 높은 서버리스 사용량은 표준 메모리보다 DBU 방출 속도가 높습니다.

자세한 내용은 높은 메모리 서버리스 컴퓨팅 사용을 참조하세요.

버전 16.1

2025년 2월 5일

이 서버리스 컴퓨팅 릴리스는 Databricks Runtime 16.0 및 Databricks Runtime 16.1에 대략 해당합니다.

새로운 기능

• 재귀 스키마에 대한 Avro 지원: 이제 recursiveFieldMaxDepth 옵션을 from_avro 함수 및 avro 데이터 원본에서 사용할 수 있습니다. 이 옵션은 Avro 데이터 원본의 스키마 재귀에 대한 최대 깊이를 설정합니다. 스트리밍 Avro 데이터 읽기 및 쓰기를 참조하세요.
• Avro용 Confluent 스키마 레지스트리에 대한 확장된 지원: 서버리스는 이제 Confluent 스키마 레지스트리를 사용하여 Avro 스키마 참조를 지원합니다. 외부 Confluent 스키마 레지스트리에 대한 인증을 참조하세요.
• 액체 클러스터링을 사용하여 테이블에 다시 클러스터링을 강제 적용합니다. 이제 구문을 사용하여 OPTIMIZE FULL 액체 클러스터링을 사용하도록 설정된 테이블의 모든 레코드를 강제로 다시 묶을 수 있습니다. 모든 레코드에 대한 강제 재클러스터링을 참조하십시오.
• Python용 델타 API는 이제 ID 열을 지원합니다. 이제 Python용 델타 API를 사용하여 ID 열이 있는 테이블을 만들 수 있습니다. Delta Lake에서 ID 열 사용을 참조하세요.
• 스트리밍 쓰기 중에 액체 클러스터형 테이블을 만듭니다. 이제 구조적 스트리밍 쓰기를 사용하여 새 테이블을 만들 때 액체 클러스터링을 사용하도록 clusterBy 설정할 수 있습니다. 액체 클러스터링 사용을 참조하세요.
• FULL 절에 대한 OPTIMIZE 지원: 서버리스 컴퓨팅은 이제 FULL 절을 OPTIMIZE 지원합니다. 이 절은 이전에 클러스터링되었을 수 있는 데이터를 포함하여 액체 클러스터링을 사용하는 테이블의 모든 레코드를 최적화합니다.
• WITH 옵션 사양 INSERT 및 테이블 참조 지원: 서버리스 컴퓨팅은 이제 데이터 원본의 동작을 제어하는 데 사용할 수 있는 문의 테이블 참조 및 테이블 이름에 대한 INSERT을 지원합니다.
• 새 SQL 함수: 이제 서버리스 컴퓨팅에서 다음 SQL 함수를 사용할 수 있습니다.
  • try_url_decode 오류에 관대한 url_decode 버전입니다.
  • 함수에 대한 입력 식이 zeroifnull()경우 NULL 0을 반환합니다.
  • nullifzero 함수는 입력이 0이면 NULL을 반환하고, 0이 아니면 그 입력 값을 그대로 반환합니다.
  • dayname(expr) 은 지정된 날짜의 요일에 대한 세 글자 영어 약어를 반환합니다.
  • uniform(expr1, expr2 [,seed]) 은 지정된 숫자 범위 내에서 독립적이고 동일하게 분산된 값을 가진 임의 값을 반환합니다.
  • randstr(length) 는 알파 숫자 문자의 length 임의의 문자열을 반환합니다.
• 지원이 추가되었습니다. withSchemaEvolution()를 사용하여 MERGE 작업 중 자동 스키마 진화를 활성화합니다. 예들 들어 mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}입니다.
• Apache Spark의 데이터 정렬 지원은 공개 미리 보기로 제공됩니다. 이제 언어 인식, 대/소문자를 구분하지 않는 데이터 정렬 및 액세스를 구분하지 않는 데이터 정렬을 열 및 식에 할당할 STRING 수 있습니다. 이러한 데이터 정렬은 문자열 비교, 정렬, 그룹화 작업 및 많은 문자열 함수에 사용됩니다. 데이터 정렬을 참조하세요.
• Delta Lake의 데이터 정렬 지원은 공개 미리 보기로 제공됩니다. 이제 델타 테이블을 만들거나 변경할 때 열에 대한 데이터 정렬을 정의할 수 있습니다. Delta Lake에 대한 데이터 정렬 지원을 참조하세요.
• LITE 진공 모드는 공개 미리 보기로 제공됩니다. 이제 델타 트랜잭션 로그에서 메타데이터를 활용하는 더 가벼운 진공 작업을 수행하는 데 사용할 VACUUM table_name LITE 수 있습니다. 전체 모드 및 라이트 모드를 VACUUM참조하세요.
• 매개변수화된 절 지원: 절은 이제 문에서 지원됩니다. 이 지원을 사용하면 문자열 변수 또는 매개 변수 표식을 기반으로 현재 카탈로그를 매개 변수화할 수 있습니다.
• COMMENT ON COLUMN 테이블 및 뷰 지원: 이제 이 문은 COMMENT ON 뷰 및 테이블 열에 대한 주석 변경을 지원합니다.
• 더 많은 함수에 대한 명명된 매개 변수 호출: 다음 함수는 명명된 매개 변수 호출을 지원합니다.
  • 변형_폭발
  • variant_explode_outer
  • 인라인
  • inline_outer
  • posexplode (포세폭발)
  • posexplode_outer (포스익스플로드_아우터)
• SYNC METADATA 명령에 대한 REPAIR TABLE 매개 변수는 Hive 메타스토어에서 지원됩니다. 이제 명령과 함께 SYNC METADATA 매개 변수를 사용하여 REPAIR TABLE Hive 메타스토어 관리 테이블의 메타데이터를 업데이트할 수 있습니다. REPAIR TABLE를 참조하십시오.
• 압축된 Apache 화살표 일괄 처리에 대한 향상된 데이터 무결성: 데이터 손상으로부터 보호하기 위해 압축된 모든 LZ4 화살표 일괄 처리에는 이제 콘텐츠 및 블록 체크섬이 포함 LZ4 됩니다. LZ4 프레임 형식 설명을 참조하세요.

• 기본 제공 Oracle JDBC 드라이버: 서버리스 컴퓨팅에는 이제 Oracle JDBC 드라이버가 기본 제공됩니다. DriverManager통해 고객이 업로드한 JDBC 드라이버 JAR을 사용하는 경우 사용자 지정 JAR을 명시적으로 사용하도록 스크립트를 다시 작성해야 합니다. 그렇지 않으면 기본 제공 드라이버가 사용됩니다. 이 드라이버는 Lakehouse 페더레이션만 지원합니다. 다른 사용 사례의 경우 사용자 고유의 드라이버를 제공해야 합니다.
• 경로로 액세스된 델타 테이블에 대한 자세한 오류: 이제 경로를 사용하여 액세스하는 델타 테이블에 대한 새로운 오류 메시지 환경을 사용할 수 있습니다. 이제 모든 예외가 사용자에게 전달됩니다. 기본 파일을 델타 테이블로 읽을 수 없는 경우에 대비해 이제 예외 DELTA_MISSING_DELTA_TABLE이 예약됩니다.

동작 변경

• 중대한 변경 사항: Databricks 호스트 RStudio는 서비스가 종료됩니다. 이 릴리스에서는 Databricks 호스트 RStudio Server의 서비스가 종료되어 서버리스 컴퓨팅에서 실행되는 모든 Azure Databricks 작업 영역에서 사용할 수 없습니다. 자세한 내용을 알아보고 RStudio에 대한 대안 목록을 보려면 호스트된 RStudio Server 사용 중단 참조하세요.

• 중대한 변경: byte, short, int, long 타입을 더 넓은 타입으로 변경하는 지원 제거: Delta 및 Apache Iceberg 테이블에서 일관된 동작을 보장하기 위해 타입 확장 기능이 설정된 테이블에 대해 다음 데이터 타입 변경 사항을 더 이상 적용할 수 없습니다.

  • byte, short, int, long에서 decimal까지.
  • byte, short 및 int를 double로.

• 중첩된 문자 그룹화에서 부정을 사용하여 regex 패턴의 올바른 구문 분석: 이 릴리스에는 중첩된 문자 그룹화에서 부정을 사용하여 regex 패턴의 올바른 구문 분석을 지원하기 위한 변경 내용이 포함되어 있습니다. 예를 들어 [^[abc]] "'abc' 중 하나가 아닌 문자"로 구문 분석됩니다.

  또한 Photon 동작이 중첩된 문자 클래스의 Spark와 일치하지 않았습니다. 중첩된 문자 클래스를 포함하는 Regex 패턴은 더 이상 Photon을 사용하지 않고 대신 Spark를 사용합니다. 중첩 문자 클래스는 대괄호 안에 대괄호를 포함하는 패턴입니다(예: [[a-c][1-3]].).

• Delta Lake MERGE에서 중복 일치 검색을 개선:MERGE 이제 WHEN MATCHED 절에 지정된 조건을 고려합니다. Delta Lake 테이블에 병합을 사용하여 Upsert하는 방법을 참조하세요.

• addArtifact() 이제 기능은 컴퓨팅 유형 간에 일관됩니다. 서버리스 컴퓨팅에 종속성을 추가하는 데 사용하면 addArtifact(archive = True) 보관 파일의 압축이 자동으로 해제됩니다.

버그 수정

• 이제 표준 시간대 오프셋에는 CSV, JSON 및 XML로 직렬화할 때 초가 포함 됩니다. 초(1900년 이전의 타임스탬프에 공통)가 포함된 표준 시간대 오프셋이 있는 타임스탬프는 CSV, JSON 및 XML로 직렬화될 때 초를 생략했습니다. 기본 타임스탬프 포맷터가 수정되었으며 이제 이러한 타임스탬프에 대한 올바른 오프셋 값을 반환합니다.

기타 변경 내용

• cloudFiles 다음 오류 코드의 이름이 바뀌었습니다.
  • _LEGACY_ERROR_TEMP_DBR_0143가 CF_INCORRECT_STREAM_USAGE으로 이름이 변경되었습니다.
  • _LEGACY_ERROR_TEMP_DBR_0260가 CF_INCORRECT_BATCH_USAGE 으로 이름이 변경되었습니다.

버전 15.4

2024년 10월 28일

이 서버리스 컴퓨팅 릴리스는 Databricks Runtime 15.4에 대략 해당합니다.

새로운 기능

• UTF-8 유효성 검사 함수: 이 릴리스에서는 UTF-8 문자열의 유효성을 검사하기 위한 다음 함수를 소개합니다.
  • is_valid_utf8 문자열이 유효한 UTF-8 문자열인지 여부를 확인했습니다.
  • make_valid_utf8 대체 문자를 사용하여 잠재적으로 잘못된 UTF-8 문자열을 유효한 UTF-8 문자열로 변환합니다.
  • validate_utf8 입력이 유효한 UTF-8 문자열이 아니면 오류가 발생합니다.
  • try_validate_utf8 입력이 유효한 UTF-8 문자열이 아닌 경우 반환 NULL 합니다.
• 다음을 사용하여 UniForm Iceberg를 사용하도록 ALTER TABLE설정합니다 . 이제 데이터 파일을 다시 작성하지 않고 기존 테이블에서 UniForm Iceberg를 사용하도록 설정할 수 있습니다. 기존 테이블에서 Iceberg 읽기를 사용 설정하는 방법을 참조하세요.
• try_url_decode 함수: 이 릴리스에서는 URL로 인코딩된 문자열을 디코딩하는 try_url_decode 함수를 소개합니다. 문자열이 올바른 형식이 아닌 경우 함수는 오류를 발생시키는 대신 NULL(을)를 반환합니다.
• 필요에 따라 최적화 프로그램에서 강제되지 않은 외래 키 제약 조건을 사용하도록 허용합니다. 쿼리 성능을 향상시키기 위해 이제 테이블을 RELY거나 FOREIGN KEY할 때 제약 조건에 대해 키워드를 지정할 수 있습니다.
• 선택적 덮어쓰기를 위한 병렬 처리된 작업 실행: 이제 데이터를 삭제하고 새 데이터를 병렬로 삽입하는 작업을 사용하여 선택적 덮어쓰기를 수행 replaceWhere 하여 쿼리 성능 및 클러스터 사용률을 개선합니다.
• 선택적 덮어쓰기를 사용하여 변경 데이터 피드의 성능이 향상되었습니다. 변경 데이터 피드가 있는 테이블에서 사용하는 replaceWhere 선택적 덮어쓰기는 더 이상 삽입된 데이터에 대한 별도의 변경 데이터 파일을 작성하지 않습니다. 이러한 작업은 기본 Parquet 데이터 파일에 있는 숨겨진 _change_type 열을 사용하여 쓰기 증폭 없이 변경 내용을 기록합니다.
• 명령에 대한 COPY INTO 쿼리 대기 시간이 향상되었습니다. 이 릴리스에는 명령에 대한 쿼리 대기 시간을 개선하는 변경 내용이 COPY INTO 포함되어 있습니다. 이러한 개선은 RocksDB 상태 저장소에서 상태를 비동기식으로 로드하여 구현됩니다. 이 변경으로 이미 수집된 파일이 많은 쿼리와 같이 상태가 큰 쿼리의 시작 시간이 향상됩니다.
• CHECK 제약 조건 테이블 기능 삭제 지원: 이제 checkConstraints를 사용하여 ALTER TABLE table_name DROP FEATURE checkConstraintsDelta 테이블에서 테이블 기능을 삭제할 수 있습니다. CHECK 제약 조건 사용 안 함을 참조하세요.

동작 변경

• 뷰에 대한 스키마 바인딩 변경: 뷰의 기본 쿼리에 있는 데이터 형식이 뷰를 처음 만들 때 사용한 데이터 형식과 변경되면 안전한 캐스트를 수행할 수 없는 경우 Databricks는 더 이상 뷰에 대한 참조에 대한 오류를 throw하지 않습니다.

  대신 보기는 가능한 경우 일반 캐스팅 규칙을 사용하여 보정합니다. 이 변경을 통해 Databricks는 테이블 스키마 변경을 더 쉽게 허용할 수 있습니다.

• ! Databricks는 부울 논리 외부에서 NOT를 의 동의어로 사용하는 것을 더 이상 허용하지 않습니다. 이렇게 변경하면 혼동이 줄어들고 SQL 표준과 일치하며 SQL의 이식성이 높아집니다. 예시:

  CREATE ... IF ! EXISTS, IS! NULL, ! NULL 열 또는 필드 속성 및 ! IN! BETWEEN 은 다음으로 바꿔야 합니다.

  CREATE ... IF NOT EXISTS, IS NOT NULL, NOT NULL 열 또는 필드 속성, NOT IN 및 NOT BETWEEN.

  부울 접두사 연산자!(예: !is_mgr 또는!(true AND false))는 이 변경의 영향을 받지 않습니다.

• 뷰에서 열 정의 구문의 문서화되지 않은 부분과 처리되지 않은 부분을 허용하지 않습니다 . Databricks는 CREATE VIEW 명명된 열 및 열 주석을 지원합니다.

  열 형식, NOT NULL 제약 조건 또는 DEFAULT 사양은 아무런 영향 없이 구문에서 허용되었습니다. Databricks는 이 구문 허용을 제거합니다. 이렇게 하면 혼동을 줄이고 SQL 표준에 맞게 조정되며 향후 향상된 기능을 사용할 수 있습니다.

• Spark 및 Photon에서 Base64 디코딩에 대한 일관된 오류 처리: 이 릴리스에서는 Photon이 이러한 오류의 Spark 처리와 일치하도록 Base64 디코딩 오류를 처리하는 방법을 변경합니다. 이러한 변경 전에 Photon 및 Spark 코드 생성 경로는 구문 분석 예외를 제대로 발생시키지 못한 반면, Spark 해석 실행은 IllegalArgumentException 또는 ConversionInvalidInputError 예외를 올바르게 발생시켰습니다. 이 업데이트를 통해 Photon은 Base64 디코딩 오류 중에 Spark와 동일한 예외를 일관되게 발생시켜 보다 예측 가능하고 신뢰할 수 있는 오류 처리를 제공합니다.

• 잘못된 열에 제약 조건을 추가하면, UNRESOLVED_COLUMN.WITH_SUGGESTION 오류 클래스가 반환됩니다: 더 유용한 오류 메시지를 제공하기 위해, Databricks Runtime 15.3 이상에서는 잘못된 열 이름을 참조하는 제약 조건을 포함한 문이 UNRESOLVED_COLUMN.WITH_SUGGESTION 오류 클래스를 반환합니다. 이전에는 INTERNAL_ERROR(을)를 반환했습니다.

JDK가 JDK 8에서 JDK 17로 업그레이드됨

2024년 8월 15일

Notebook 및 워크플로에 대한 서버리스 컴퓨팅은 서버 쪽의 JDK(Java Development Kit) 8에서 JDK 17로 마이그레이션되었습니다. 이 업그레이드에는 다음과 같은 동작 변경 내용이 포함됩니다.

• 중첩된 문자 그룹에서 부정을 사용하여 regex 패턴의 올바른 구문 분석: 이 업그레이드를 통해 Azure Databricks는 이제 중첩된 문자 그룹화에서 부정을 사용하여 regex 패턴의 올바른 구문 분석을 지원합니다. 예를 들어 [^[abc]] "'abc' 중 하나가 아닌 문자"로 구문 분석됩니다.

  또한 Photon 동작이 중첩된 문자 클래스의 Spark와 일치하지 않았습니다. 중첩된 문자 클래스를 포함하는 Regex 패턴은 더 이상 Photon을 사용하지 않고 대신 Spark를 사용합니다. 중첩 문자 클래스는 대괄호 안에 대괄호를 포함하는 패턴입니다(예: [[a-c][1-3]].).

버전 15.1

2024년 7월 23일

이 서버리스 컴퓨팅 릴리스는 Databricks Runtime 15.1에 대략 해당합니다.

새로운 기능

별() 구문에 대한 절 지원: 이제 절의 별() 구문을 사용하여 목록의 모든 열을 참조할 수 있습니다.

예들 들어 SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*)입니다.

변경

JSON 구문 분석의 오류 복구 개선: 이제 JSON 경로 식에 from_json() 사용되는 JSON 파서가 잘못된 구문에서 더 빠르게 복구되어 데이터 손실이 줄어듭니다.

구조체 필드, 배열 값, 지도 키 또는 지도 값에서 형식이 잘못된 JSON 구문이 발견되면 이제 JSON 파서는 읽을 수 없는 필드, 키 또는 요소에 대해서만 반환 NULL 됩니다. 후속 필드, 키 또는 요소가 제대로 해석됩니다. 이 변경 이전에는 JSON 파서가 배열, 구조체 또는 맵의 구문 분석을 중단하고 나머지 콘텐츠에 NULL를 반환했습니다.

버전 14.3

2024년 4월 15일

초기 서버리스 컴퓨팅 버전입니다. 이 버전은 대략 Databricks Runtime 14.3 에 해당하며 일부 비 서버리스 및 레거시 기능에 대한 지원을 제거하는 일부 수정 사항이 있습니다.

지원되는 Spark 구성 매개 변수

서버리스 컴퓨팅에서 Spark의 구성을 자동화하기 위해 Azure Databricks는 대부분의 Spark 구성을 수동으로 설정하는 지원을 제거했습니다. 지원되는 Spark 구성 매개 변수 목록을 보려면 서버리스 노트북 및 작업을 위한 Spark 속성 구성 페이지를 참조하세요.

서버리스 컴퓨팅에서 작업이 실행되다가 지원되지 않는 스파크 구성을 설정하면 실패할 것입니다.

input_file 함수는 더 이상 사용되지 않습니다.

input_file_name(), input_file_block_length()및 input_file_block_start() 함수는 더 이상 사용되지 않습니다. 이러한 함수를 사용하는 것은 매우 권장되지 않습니다.

대신 파일 메타데이터 열을 사용하여 파일 메타데이터 정보를 검색합니다.

동작 변경

서버리스 컴퓨팅 버전 2024.15에는 다음과 같은 동작 변경 내용이 포함됩니다.

• unhex(hexStr) 버그 수정: 함수를 unhex(hexStr) 사용할 때 hexStr는 항상 전체 바이트에 왼쪽으로 패딩됩니다. 이전에는 unhex 함수가 처음 반바이트 바이트를 무시했습니다. 예를 들어: unhex('ABC')는 이제 x'0ABC' 대신 x'BC'을 생성합니다.
• 자동 생성된 열 별칭은 이제 안정적입니다. 사용자가 지정한 열 별칭 없이 식의 결과를 참조하는 경우 이 자동 생성된 별칭은 이제 안정적입니다. 새 알고리즘으로 인해 구체화된 뷰와 같은 기능에 사용된 이전에 자동 생성된 이름이 변경될 수 있습니다.
• 이제 형식 필드가 있는 CHAR 테이블 검색은 항상 패딩됩니다 . 델타 테이블, 특정 JDBC 테이블 및 외부 데이터 원본은 CHAR 데이터를 패딩되지 않은 형식으로 저장합니다. 읽을 때 Azure Databricks는 이제 올바른 의미 체계를 보장하기 위해 선언된 길이에 공백이 있는 데이터를 패딩합니다.
• BIGINT/DECIMAL에서 TIMESTAMP로의 캐스트는 오버플로된 값에 대한 예외를 throw합니다 . Azure Databricks를 사용하면 값을 Unix Epoch의 초 수로 처리하여 BIGINT 및 DECIMAL에서 TIMESTAMP로 캐스팅할 수 있습니다. 이전에는 Azure Databricks가 오버플로된 값을 반환했지만 이제 오버플로가 발생하면 예외를 발생시킵니다. 예외 대신 NULL을 반환하는 데 사용합니다 try_cast .
• PySpark UDF 실행이 전용 컴퓨팅에서 UDF 실행의 정확한 동작과 일치하도록 개선되었습니다 . 다음과 같은 변경이 수행되었습니다.
  • 문자열 반환 형식이 있는 UDF는 더 이상 문자열이 아닌 값을 문자열로 암시적으로 변환하지 않습니다. 이전에 UDF의 반환 형식이 str인 경우, 반환된 값의 실제 데이터 형식에 관계없이 결과에 str(..) 래퍼를 적용했습니다.
  • timestamp 반환 형식이 있는 UDF는 더 이상 타임스탬프에 표준 시간대 변환을 암시적으로 적용하지 않습니다.