Databricks Runtime メンテナンス更新

この記事では、サポートされている Databricks Runtime バージョンのメンテナンス更新プログラムの一覧を示します。 既存のクラスターにメンテナンス更新プログラムを追加するには、クラスターを再起動します。 サポートされていない Databricks Runtime バージョンのメンテナンス更新プログラムについては、「Databricks Runtime のメンテナンス更新プログラム (アーカイブ済み)」を参照してください。

Databricks Runtime リリース

リリース別のメンテナンス更新プログラム:

• Databricks Runtime 17.3 LTS
• Databricks Runtime 17.2
• Databricks Runtime 17.1
• Databricks Runtime 17.0
• Databricks Runtime 16.4 LTS
• Databricks Runtime 16.2
• Databricks Runtime 15.4 LTS
• Databricks Runtime 14.3 LTS
• Databricks Runtime 13.3 LTS
• Databricks Runtime 12.2 LTS
• Databricks Runtime 9.1 LTS

Databricks Runtime 17.3 LTS

Databricks Runtime 17.3 LTS を参照してください。

• 2025 年 11 月 4 日
  • [SPARK-53729][PYTHON][CONNECT] pyspark.sql.connect.window.WindowSpec のシリアル化を修正
  • [SPARK-46679][SQL] SparkUnsupportedOperationException の修正: Parameterized クラスを使用する場合、T 型のエンコーダーが見つかりませんでした
  • [SPARK-53973][Avro] AvroOptionsのブール型キャスト失敗におけるエラーを分類する
  • [SPARK-53794][SS] rocksdb 状態プロバイダーに関連付けられているメンテナンス操作ごとに削除を制限するオプションを追加する
  • [SPARK-53908][CONNECT] プラン キャッシュを使用した Spark Connect での監視を修正する
  • [SPARK-53972][SS] クラシック pyspark でのストリーミング クエリの recentProgress 回帰を修正する
  • オペレーティング システムのセキュリティを更新。

Databricks Runtime 17.2

Databricks Runtime 17.2 を参照してください。

• 2025 年 11 月 4 日
  • [SPARK-53973][Avro] AvroOptionsのブール型キャスト失敗におけるエラーを分類する
  • [SPARK-53972][SS] クラシック pyspark でのストリーミング クエリの recentProgress 回帰を修正する
  • [SPARK-53908][CONNECT] プラン キャッシュを使用した Spark Connect での監視を修正する
  • オペレーティング システムのセキュリティを更新。

• 2025 年 10 月 21 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 10 月 8 日
  • [SPARK-53555] 修正: SparkML-connect で SparkML (レガシ モード) 保存済みモデルを読み込めない
  • [SPARK-53598][SQL] 大きなテーブル プロパティを読み取る前に numParts の存在を確認する
  • [SPARK-53625][SS] プロジェクションを通じてメタデータ列を伝達し、ApplyCharTypePadding 非互換性に対処する
  • [SPARK-53568][CONNECT][PYTHON] Spark Connect Python クライアント エラー処理ロジックのいくつかの小さなバグを修正する
  • [SPARK-53574] 入れ子になったプランの解決中に AnalysisContext がワイプされる問題を修正しました
  • [SPARK-53623][SQL] 大きなテーブルのプロパティの読み取りが向上しています...
  • [SPARK-53729][PYTHON][CONNECT] のシリアル化を修正 pyspark.sql.connect.window.WindowSpec
  • [SPARK-53549][SS] リスト状態要求プロセスが完了したら、常に矢印アロケーターを閉じます
  • オペレーティング システムのセキュリティを更新。

• 2025 年 9 月 10 日
  • 自動ローダーが無期限にハングする可能性がある問題を修正しました。
  • [SPARK-53362] [ML] [CONNECT] IDFModel ローカル ローダーのバグを修正する
  • [SPARK-53382][SQL] 再帰の形式が正しくない rCTE バグを修正
  • [SPARK-53345] のバックポートの不安定なテスト修正
  • [SPARK-49872][CORE] jackson JSON 文字列の長さの制限を削除する
  • [SPARK-53423] [SQL] すべてのシングルパス リゾルバー関連タグを ResolverTag に移動する
  • [SPARK-53431][PYTHON] DataFrame API の名前付きテーブル引数を使用して Python UDTF を修正する
  • [SPARK-53336] [ML] [CONNECT] MLCache.totalMLCacheSizeBytesが呼び出されたときにMLCache.clear()をリセットする
  • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible は重複した割り込みを回避する必要がある
  • [SPARK-53470][SQL] ExtractValue 式は常に型チェックを実行する必要がある
  • [SPARK-53389] ANSI 下の Spark での Pandas API の改善のチェリー ピック
  • オペレーティング システムのセキュリティを更新。

Databricks Runtime 17.1

Databricks Runtime 17.1 を参照してください。

• 2025 年 11 月 4 日
  • [SPARK-53972][SS] クラシック pyspark でのストリーミング クエリの recentProgress 回帰を修正する
  • [SPARK-53908][CONNECT] プラン キャッシュを使用した Spark Connect での監視を修正する
  • [SPARK-53973][Avro] AvroOptionsのブール型キャスト失敗におけるエラーを分類する
  • オペレーティング システムのセキュリティを更新。

• 2025 年 10 月 21 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 10 月 7 日
  • [SPARK-53574] 入れ子になったプランの解決中に AnalysisContext がワイプされる問題を修正しました
  • [SPARK-53549][SS] リスト状態要求プロセスが完了したら、常に矢印アロケーターを閉じます
  • [SPARK-53568][CONNECT][PYTHON] Spark Connect Python クライアント エラー処理ロジックのいくつかの小さなバグを修正する
  • [SPARK-53625][SS] プロジェクションを通じてメタデータ列を伝達し、ApplyCharTypePadding 非互換性に対処する
  • [SPARK-53598][SQL] 大きなテーブル プロパティを読み取る前に numParts の存在を確認する
  • [SPARK-53623][SQL] 大きなテーブルのプロパティの読み取りが向上しています...
  • [SPARK-53555] 修正: SparkML-connect で SparkML (レガシ モード) 保存済みモデルを読み込めない
  • [SPARK-53729][PYTHON][CONNECT] のシリアル化を修正 pyspark.sql.connect.window.WindowSpec
  • オペレーティング システムのセキュリティを更新。

• 2025 年 9 月 16 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 9 月 9 日
  • 自動ローダーが無期限にハングする可能性がある問題を修正しました。
  • [SPARK-53362] [ML] [CONNECT] IDFModel ローカル ローダーのバグを修正する
  • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible は重複した割り込みを回避する必要がある
  • [SPARK-53382][SQL] 再帰の形式が正しくない rCTE バグを修正
  • [SPARK-53431][PYTHON] DataFrame API の名前付きテーブル引数を使用して Python UDTF を修正する
  • [SPARK-53336] [ML] [CONNECT] MLCache.totalMLCacheSizeBytesが呼び出されたときにMLCache.clear()をリセットする
  • [SPARK-49872][CORE] jackson JSON 文字列の長さの制限を削除する
  • オペレーティング システムのセキュリティを更新。

• 2025 年 8 月 25 日
  • 更新された Java ライブラリ:
    • io.delta.delta-sharing-client_2.13 から 1.3.3 から 1.3.5
  • [SPARK-52482][SQL][CORE] 特定の破損した zstd ファイルを読み取るための例外処理を改善する
  • [SPARK-53192][CONNECT] Spark Connect プラン キャッシュにデータソースを常にキャッシュする
  • オペレーティング システムのセキュリティを更新。

• 2025 年 8 月 14 日
  • [SPARK-52833][SQL] 修正 VariantBuilder.appendFloat
  • [SPARK-52961][PYTHON] Arrow に最適化された Python UDTF を、レーテラル結合での 0-arg 評価に関して修正しました
  • [SPARK-51505][SQL] AQEShuffleReadExec で常に空のパーティション番号メトリックを表示する
  • [SPARK-52753][SQL] parseDataType バイナリと以前のバージョンとの互換性を確保する
  • [SPARK-52842][SQL] シングルパス アナライザーの新機能とバグ修正
  • [SPARK-52960][SQL] LogicalQueryStage toString にサブツリー文字列を表示する
  • [SPARK-53054][CONNECT] 接続を修正します。DataFrameReader の既定の形式の動作
  • オペレーティング システムのセキュリティを更新。

Databricks Runtime 17.0

Databricks Runtime 17.0 を参照してください。

• 2025 年 11 月 4 日
  • [SPARK-53908][CONNECT] プラン キャッシュを使用した Spark Connect での監視を修正する
  • [SPARK-53972][SS] クラシック pyspark でのストリーミング クエリの recentProgress 回帰を修正する
  • オペレーティング システムのセキュリティを更新。

• 2025 年 10 月 21 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 10 月 7 日
  • [SPARK-53598][SQL] 大きなテーブル プロパティを読み取る前に numParts の存在を確認する
  • [SPARK-53568][CONNECT][PYTHON] Spark Connect Python クライアント エラー処理ロジックのいくつかの小さなバグを修正する
  • [SPARK-53574] 入れ子になったプランの解決中に AnalysisContext がワイプされる問題を修正しました
  • [SPARK-53549][SS] リスト状態要求プロセスが完了したら、常に矢印アロケーターを閉じます
  • [SPARK-53623][SQL] 大きなテーブルのプロパティの読み取りが向上しています...
  • [SPARK-53729][PYTHON][CONNECT] のシリアル化を修正 pyspark.sql.connect.window.WindowSpec
  • オペレーティング システムのセキュリティを更新。

• 2025 年 9 月 16 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 9 月 9 日
  • 自動ローダーが無期限にハングする可能性がある問題を修正しました。
  • [SPARK-53394][CORE] UninterruptibleLock.isInterruptible は重複した割り込みを回避する必要がある
  • [SPARK-53336] [ML] [CONNECT] MLCache.totalMLCacheSizeBytesが呼び出されたときにMLCache.clear()をリセットする
  • [SPARK-49872][CORE] jackson JSON 文字列の長さの制限を削除する
  • [SPARK-53431][PYTHON] DataFrame API の名前付きテーブル引数を使用して Python UDTF を修正する
  • [SPARK-53382][SQL] 再帰の形式が正しくない rCTE バグを修正
  • オペレーティング システムのセキュリティを更新。

• 2025 年 8 月 26 日
  • 更新された Java ライブラリ:
    • io.delta.delta-sharing-client_2.13 から 1.3.3 から 1.3.5
  • [SPARK-52482][SQL][CORE] 特定の破損した zstd ファイルを読み取るための例外処理を改善する
  • [SPARK-53192][CONNECT] Spark Connect プラン キャッシュにデータソースを常にキャッシュする
  • オペレーティング システムのセキュリティを更新。

• 2025 年 8 月 14 日
  • [SPARK-51505][SQL] AQEShuffleReadExec で常に空のパーティション番号メトリックを表示する
  • [SPARK-53054][CONNECT] 接続を修正します。DataFrameReader の既定の形式の動作
  • [SPARK-52961][PYTHON] Arrow に最適化された Python UDTF を、レーテラル結合での 0-arg 評価に関して修正しました
  • [SPARK-52833][SQL] 修正 VariantBuilder.appendFloat
  • オペレーティング システムのセキュリティを更新。

• 2025 年 7 月 29 日
  • [SPARK-51889][PYTHON][SS] Python TWS の MapState clear() のバグを修正しました
  • [SPARK-52753][SQL] parseDataType バイナリと以前のバージョンとの互換性を確保する
  • [SPARK-49428][SQL] Connect Scala クライアントをコネクタから SQL に移動する
  • オペレーティング システムのセキュリティを更新。

• 2025 年 7 月 15 日
  • Spark Structured Streaming を使用して Pulsar からデータをストリーミングするときの非決定的なデータ損失の問題を修正しました。
  • [SPARK-52430][SQL] rCTEs での Union の null 許容のバグを解決する
  • [SPARK-52503][SQL][CONNECT] 入力列が存在しない場合の drop を修正
  • [SPARK-52579][PYTHON] Pythonワーカーの定期的なトレースバックダンプを設定する
  • [SPARK-52450] スキーマディープコピーのパフォーマンスを向上させる
  • [SPARK-52599][PYTHON] ドライバーサイドワーカーでの定期的なトレースバック ダンプのサポート
  • [SPARK-52553][SS] v1 変更ログを読み取るときに NumberFormatException を修正する
  • オペレーティング システムのセキュリティを更新。

• 2025 年 5 月 28 日
  • 更新された Python ライブラリ:
    • google-auth 2.40.0 から 2.40.1 への変更
    • 2.22.0 から 3.0.0 までの mlflow-skinny
    • opentelemetry-api を 1.32.1 から 1.33.0 にアップグレード
    • opentelemetry-sdk (1.32.1 から 1.33.0)
    • opentelemetry-semantic-conventionsのバージョンが0.53b1から0.54b0に更新されました
  • 更新された Java ライブラリ:
    • io.delta.delta-sharing-client_2.13 のバージョンを 1.3.0 から 1.3.3 に更新
  • ファイル データ ソース リーダー (json、csv、xml、およびテキスト) の ZStandard 解凍対応
  • cloud_files_state TVF 関数を使用してパイプライン間のストリーミング テーブルのファイル レベルの状態を読み取ることができないという制限を修正しました
  • 一時ビューのクエリに関する Unity カタログ承認の問題を修正しました。
  • 17.0.1 でフラグを切り替え、17.0.0 のすべてのワークスペースにSAFEフラグを展開しました。
  • 署名済み URL を使用するクエリに Spark Parquet I/O キャッシュを使用するためのデルタシェアリングのサポート (バージョン 17.0.1 以降で利用可能)。
  • ファイル データ ソース リーダー (json、csv、xml、およびテキスト) の ZStandard 解凍対応
  • Teradata コネクタは、既定で TMODE=ANSI をドライバーに渡すようになりました。 これは、Lakehouse フェデレーションを通じて行われるすべての文字列比較が大文字と小文字の区別を伴うことを意味します。
  • [SPARK-51921][SS][PYTHON] transformWithState で TTL 期間に長い型をミリ秒単位で使用する
  • [SPARK-52259][ML][CONNECT] Param クラスのバイナリ互換性を修正する
  • [SPARK-52195][PYTHON][SS] Python TWS の初期状態列の削除に関する問題を修正する
  • [SPARK-52057] [ML] [CONNECT] クライアントへのツリー サイズ制限の警告メッセージの収集
  • [SPARK-52051] [ML] [CONNECT] メモリ制御が有効になっているときにモデルの概要を有効にする
  • [SPARK-51606][CONNECT] Spark Connect サーバーを停止するときにSPARK_IDENT_STRINGを追加する
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement は SQLConf に動的にアクセスできません
  • [SPARK-52232][SQL] 非決定論的クエリを修正して、すべてのステップで異なる結果を生成する
  • [SPARK-52013] [CONNECT] [ML] 削除 SparkConnectClient.ml_caches
  • [SPARK-52353][SQL] UnionLoop の以前のイテレーションを参照する LogicalRDD の間違った制約のバグを修正しました
  • [SPARK-52130] [ML] [CONNECT] エラー メッセージを絞り込み、内部 Spark 構成を非表示にする
  • [SPARK-52470][ML][CONNECT] モデルサマリーのオフロードをサポート
  • [SPARK-51935][SQL] 解釈された df.collect() 内の反復子の遅延動作を修正する
  • [SPARK-52482][SQL][CORE] ZStandard によるファイル データ ソース リーダーのサポート
  • [SPARK-52159][SQL] jdbc 言語のテーブル存在チェックを適切に処理する
  • [SPARK-52010] 内部クラスの API ドキュメントを生成しない
  • [SPARK-52049] XML 属性を Variant として解析できないバグを修正しました
  • [SPARK-52312][SQL] DataFrame のキャッシュ時に V2WriteCommand を無視する
  • [SPARK-52229][ML][CONNECT] モデル サイズの推定を改善する
  • [SPARK-50815][PYTHON] バリアントローカルデータを矢印変換に修正
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference はプラン ID を保持する必要があります
  • [SPARK-51981][SS] queryStartedEvent に JobTag を追加する
  • [FIX REVERT][spark-52100]](https://issues.apache.org/jira/browse/SPARK-52100)[SQL] 構文での再帰レベルの制限のオーバーライドを有効にする
  • [SPARK-52101][SQL] RCTEs のインライン強制を無効にする
  • [SPARK-52099][SQL] LIMIT 演算子を追加して再帰行の制限をオーバーライドできるようにします
  • オペレーティング システムのセキュリティを更新。

Databricks Runtime 16.4 LTS

Databricks Runtime 16.4 LTS を参照してください。

• 2025 年 11 月 4 日
  • 更新された R ライブラリ:
    • 16.1.0 から 21.0.0 への矢印
  • [SPARK-53973][Avro] AvroOptionsのブール型キャスト失敗におけるエラーを分類する
  • オペレーティング システムのセキュリティを更新。

• 2025 年 10 月 21 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 10 月 7 日
  • [SPARK-53568][CONNECT][PYTHON] Spark Connect Python クライアント エラー処理ロジックのいくつかの小さなバグを修正する
  • [SPARK-53574] 入れ子になったプランの解決中に AnalysisContext がワイプされる問題を修正しました
  • [SPARK-53623][SQL] 大きなテーブルのプロパティの読み取りが向上しています...
  • [SPARK-53598][SQL] 大きなテーブル プロパティを読み取る前に numParts の存在を確認する
  • [SPARK-53549][SS] リスト状態要求プロセスが完了したら、常に矢印アロケーターを閉じます
  • オペレーティング システムのセキュリティを更新。

• 2025 年 9 月 16 日
  • Snowflake コネクタは、INFORMATION_SCHEMA コマンドの代わりにSHOW SCHEMAS テーブルを使用してスキーマを一覧表示するようになりました。 この変更により、前のアプローチの 10,000 スキーマの制限が削除され、多数のスキーマを持つデータベースのサポートが向上します。
  • オペレーティング システムのセキュリティを更新。

• 2025 年 9 月 9 日
  • 自動ローダーが無期限にハングする可能性がある問題を修正しました。
  • 自動ローダーでジョブが失敗する可能性がある一時的なエラーを修正しました
  • [SPARK-49872][CORE] jackson JSON 文字列の長さの制限を削除する
  • [SPARK-51821][CORE] デッドロックの可能性を回避するために、無停電ロックを保持せずに interrupt() を呼び出す
  • オペレーティング システムのセキュリティを更新。

• 2025 年 8 月 26 日
  • 更新された Java ライブラリ:
    • (Scala 2.12 のみ) io.delta.delta-sharing-client_2.12 から 1.2.7 から 1.2.8
    • (Scala 2.13 のみ) io.delta.delta-sharing-client_2.13 から 1.2.7 から 1.2.8
  • [SPARK-52482][SQL][CORE] 特定の破損した zstd ファイルを読み取るための例外処理を改善する
  • [SPARK-53192][CONNECT] Spark Connect プラン キャッシュにデータソースを常にキャッシュする
  • オペレーティング システムのセキュリティを更新。

• 2025 年 8 月 14 日
  • [SPARK-51011][CORE] 強制終了時にタスクが中断されるかどうかを示すログを追加する
  • [SPARK-52833][SQL] 修正 VariantBuilder.appendFloat
  • [SPARK-51505][SQL] AQEShuffleReadExec で常に空のパーティション番号メトリックを表示する
  • オペレーティング システムのセキュリティを更新。

• 2025 年 7 月 29 日
  • [SPARK-52753][SQL] parseDataType バイナリと以前のバージョンとの互換性を確保する
  • オペレーティング システムのセキュリティを更新。

• 2025 年 7 月 15 日
  • Spark Structured Streaming を使用して Pulsar からデータをストリーミングするときの非決定的なデータ損失の問題を修正しました。
  • [SPARK-52579][PYTHON] Pythonワーカーの定期的なトレースバックダンプを設定する
  • [SPARK-52553][SS] v1 変更ログを読み取るときに NumberFormatException を修正する
  • [SPARK-52450] スキーマディープコピーのパフォーマンスを向上させる
  • [SPARK-52503][SQL][CONNECT] 入力列が存在しない場合の drop を修正
  • [SPARK-52599][PYTHON] ドライバーサイドワーカーでの定期的なトレースバック ダンプのサポート
  • オペレーティング システムのセキュリティを更新。

• 2025 年 7 月 1 日
  • ファイル データ ソース リーダー (json、csv、xml、およびテキスト) の ZStandard 解凍対応
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement は SQLConf に動的にアクセスできません
  • [SPARK-52482][SQL][CORE] ZStandard によるファイル データ ソース リーダーのサポート
  • [SPARK-52312][SQL] DataFrame のキャッシュ時に V2WriteCommand を無視する
  • オペレーティング システムのセキュリティを更新。

• 2025 年 6 月 17 日
  • cloud_files_stateテーブル値関数 (TVF) を使用して、パイプライン間でストリーミング テーブルのファイル レベルの状態を読み取ることができないという制限を修正しました。
  • 一時ビューのクエリに関する Unity カタログ承認の問題を修正しました。
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference はプラン ID を保持する必要があります
  • オペレーティング システムのセキュリティを更新。

• 2025 年 6 月 3 日
  • [SPARK-52195][PYTHON][SS] Python TWS の初期状態列の削除に関する問題を修正する
  • [SPARK-52159][SQL] jdbc 言語のテーブル存在チェックを適切に処理する
  • 各種のバグ修正。

• 2025 年 5 月 7 日
  • 更新された Java ライブラリ:
    • io.delta.delta-sharing-client_2.13 を 1.2.3 から 1.2.7 に変更
    • org.apache.avro.avro 1.11.3 から 1.11.4
    • org.apache.avro.avro-ipc (1.11.3 から 1.11.4 へ)
    • org.apache.avro.avro-mapred 1.11.3 から 1.11.4
  • ストリーミング複製セッションは、共有クラスター/サーバーレスの foreachBatch ユーザー関数内で使用されます。 これは、クラシック (割り当てられたクラスター) での動作に合わせて調整されます。
  • ストリーミング複製セッションは、共有クラスター/サーバーレスの foreachBatch ユーザー関数内で使用されます。 これは、クラシック (割り当てられたクラスター) での動作に合わせて調整されます。
  • この変更の前は、photon を無効にして、 variant_get 式のパスの先頭の空白とタブが無視されていました。 たとえば、 select variant_get(parse_json('{"key": "value"}'), '$['key']') は、 "key"の値を抽出するのに有効ではありません。 ただし、ユーザーは、このようなキーを今すぐ抽出できるようになります。
  • [SPARK-51935][SQL] 解釈された df.collect() 内の反復子の遅延動作を修正する
  • [SPARK-51921][SS][PYTHON] transformWithState で TTL 期間に長い型をミリ秒単位で使用する
  • [SPARK-51940][SS] ストリーミング チェックポイント メタデータを管理するためのインターフェイスを追加する
  • [SPARK-52049] XML 属性を Variant として解析できないバグを修正しました
  • [SPARK-51904][SS] StateSchemaV3 の非同期メタデータの削除と OperatorMetadata ファイルの一覧表示時の非バッチ ファイルの無視
  • [SPARK-51869][SS] Scala TransformWithState の UDF 内でユーザー エラーの分類を作成する
  • [SPARK-51889][PYTHON][SS] Python TWS の MapState clear() のバグを修正しました
  • [SPARK-51922] [SS] V1 の StateStoreChangelogReaderFactory からスローされる UTFDataFormatException を修正する
  • [SPARK-51848][SQL] バリアント型の配列/構造体/マップの定義済みスキーマを使用した XML レコードの解析を修正しました
  • オペレーティング システムのセキュリティを更新。

Databricks Runtime 16.2

Databricks Runtime 16.2 (EoS) を参照してください。

• 2025 年 8 月 14 日
  • [SPARK-51011][CORE] 強制終了時にタスクが中断されるかどうかを示すログを追加する
  • オペレーティング システムのセキュリティを更新。

• 2025 年 7 月 29 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 7 月 15 日
  • Spark Structured Streaming を使用して Pulsar からデータをストリーミングするときの非決定的なデータ損失の問題を修正しました。
  • [SPARK-52553][SS] v1 変更ログを読み取るときに NumberFormatException を修正する
  • オペレーティング システムのセキュリティを更新。

• 2025 年 7 月 1 日
  • ファイル データ ソース リーダー (json、csv、xml、およびテキスト) の ZStandard 解凍対応
  • ファイル データ ソース リーダー (json、csv、xml、およびテキスト) の ZStandard 解凍対応
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement は SQLConf に動的にアクセスできません
  • [SPARK-52312][SQL] DataFrame のキャッシュ時に V2WriteCommand を無視する
  • [SPARK-52482][SQL][CORE] ZStandard によるファイル データ ソース リーダーのサポート
  • オペレーティング システムのセキュリティを更新。

• 2025 年 6 月 17 日
  • cloud_files_stateテーブル値関数 (TVF) を使用して、パイプライン間でストリーミング テーブルのファイル レベルの状態を読み取ることができないという制限を修正しました。
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference はプラン ID を保持する必要があります
  • オペレーティング システムのセキュリティを更新。

• 2025 年 6 月 3 日
  • 更新された Python ライブラリ:
    • 41.0.7、41.0.7、42.0.5 から 42.0.5 への暗号化
    • パッケージを 24.0、24.1 から 24.1 へ変更
    • platformdirs を 3.10.0、4.2.2 から 3.10.0 へ変更
    • pyparsing バージョン 3.0.9、3.1.1 から 3.0.9 に変更
    • autocommand 2.2.2 を追加しました
    • backports.tarfile 1.2.0 を追加しました
    • importlib_resources 6.4.0 を追加しました
    • Inflect 7.3.1 を追加しました
    • jaraco.context 5.3.0 を追加しました
    • jaraco.functools 4.0.1 を追加しました
    • jaraco.text 3.12.1 を追加しました
    • more-itertools 10.3.0 を追加しました
    • pip 24.2 を追加しました
    • setuptools 74.0.0 を追加しました
    • tomli 2.0.1 を追加しました
    • typeguard 4.3.0 を追加しました
    • wcwidth 0.2.5 を追加しました
    • ホイール 0.43.0 を追加しました
    • ディストリビューション 1.9.0 を削除しました
    • distro-info 1.7+build1 を削除しました
    • python-apt 2.7.7+ubuntu4 を削除しました
  • [SPARK-52159][SQL] jdbc 言語のテーブル存在チェックを適切に処理する
  • [SPARK-52195][PYTHON][SS] Python TWS の初期状態列の削除に関する問題を修正する
  • オペレーティング システムのセキュリティを更新。

• 2025 年 5 月 20 日
  • 更新された Java ライブラリ:
    • io.delta.delta-sharing-client_2.12 のバージョンを 1.2.6 から 1.2.7 に更新
    • org.apache.avro.avro 1.11.3 から 1.11.4
    • org.apache.avro.avro-ipc (1.11.3 から 1.11.4 へ)
    • org.apache.avro.avro-mapred 1.11.3 から 1.11.4
  • ストリーミング複製セッションは、共有クラスター/サーバーレスの foreachBatch ユーザー関数内で使用されます。 これは、クラシック (割り当てられたクラスター) での動作に合わせて調整されます。
  • ストリーミング複製セッションは、共有クラスター/サーバーレスの foreachBatch ユーザー関数内で使用されます。 これは、クラシック (割り当てられたクラスター) での動作に合わせて調整されます。
  • この変更の前は、photon を無効にして、 variant_get 式のパスの先頭の空白とタブが無視されていました。 たとえば、 select variant_get(parse_json('{"key": "value"}'), '$[' key']') は、 "key"の値を抽出するのに有効ではありません。 ただし、ユーザーは、このようなキーを今すぐ抽出できるようになります。
  • [SPARK-51935][SQL] 解釈された df.collect() 内の反復子の遅延動作を修正する
  • [SPARK-51921][SS][PYTHON] transformWithState で TTL 期間に長い型をミリ秒単位で使用する
  • オペレーティング システムのセキュリティを更新。

• 2025 年 4 月 22 日
  • [SPARK-51717][SS][RocksDB] 新しいクエリ用に作成された 2 つ目のスナップショットで発生する可能性がある SST の不一致の破損を修正する
  • "[SPARK-47895][SQL] エイリアスによるグループ化は冪等であるべき" を15.4、16.0、16.1、16.2、および16.3で元に戻す。
  • オペレーティング システムのセキュリティを更新。

• 2025 年 4 月 9 日

  • 更新された Java ライブラリ:
    • io.starburst.openjson.openjson 1.8-e.12 を削除しました
    • io.starburst.openx.data.json-serde 1.3.9-e.12 を削除
    • io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12 を削除しました。
  • [SPARK-47895][SQL] エイリアスによるグループ化はべき等である必要がある
  • [SPARK-51505][SQL] AQE 結合の空のパーティション数メトリクスをログする
  • [SPARK-51624][SQL] GetStructField メタデータを CreateNamedStruct.dataType に伝達する
  • [SPARK-51589][SQL] | で集計関数のチェックに失敗する小さなバグを修正>SELECT
  • オペレーティング システムのセキュリティを更新。

• 2025 年 3 月 11 日

  • Databricks Runtime 14.3 LTS 以降には、 SparkListenerApplicationEnd クラスをインスタンス化し、Apache Spark に対してコンパイルされたコードとのバイナリ非互換性の原因となった問題の修正プログラムが含まれています。 この非互換性は、SPARK-46399 を Apache Spark にマージした結果です。 このマージには、SparkListenerApplicationEnd コンストラクターに既定の引数を追加する変更が含まれていました。 バイナリ互換性を復元するために、この修正により、SparkListenerApplicationEnd クラスに 1 つの引数コンストラクターが追加されます。
  • 元に戻す "[SPARK-48273][SQL] PlanWithUnresolvedIdentifier の遅延書き換えを修正"
  • [SPARK-50985][SS] KafkaTokenProvider で不足しているサーバーのエラーをアサートとスローするのではではなく、Kafka タイムスタンプ オフセットの不一致エラーを分類する
  • [SPARK-51065][SQL] TransformWithState に Avro エンコードを使用する場合の null 非許容スキーマの禁止
  • [SPARK-51237][SS] 必要に応じて新しい transformWithState ヘルパー API の API の詳細を追加する
  • [SPARK-51222][SQL] ReplaceCurrentLike を最適化する
  • [SPARK-51351][SS] TWS の Python worker で出力を具体化しない
  • [SPARK-51084][SQL] negativeScaleNotAllowedError に適切なエラー クラスを割り当てる
  • [SPARK-51249][SS] 正しいバージョンバイト数を使用するための NoPrefixKeyStateEncoder および Avro エンコードの修正
  • オペレーティング システムのセキュリティを更新。

• 2025 年 2 月 5 日

  • このリリースには、復旧された XML データ列をシリアル化するときの特定のデータ型の変換に影響する問題の修正が含まれています。 影響を受けるデータ型は、日付、NTZ 以外のタイムスタンプ、および prefersDecimal が有効な場合の 10 進数です。 救助されたデータ列の詳細については、「救助されたデータ列とは」を参照してください。.
  • [SPARK-50770][SS] transformWithState 演算子 API に対するパッケージ スコープを削除する
  • オペレーティング システムのセキュリティを更新。

Databricks Runtime 15.4 LTS

「Databricks Runtime 15.4 LTS」を参照してください。

• 2025 年 11 月 4 日
  • 更新された R ライブラリ:
    • 14.0.0.2 から 21.0.0 への矢印
  • オペレーティング システムのセキュリティを更新。

• 2025 年 10 月 21 日
  • スキャン光子化基準が更新され、チェックサム検証が必要な場合にスキャン光子化が可能になります。
    チェックサム検証が必要かどうかを判断することは、SQLConf ではなく hadoop conf から取得されるようになりました。
  • オペレーティング システムのセキュリティを更新。

• 2025 年 10 月 7 日
  • [SPARK-53568][CONNECT][PYTHON] Spark Connect Python クライアント エラー処理ロジックのいくつかの小さなバグを修正する
  • [SPARK-53574] 入れ子になったプランの解決中に AnalysisContext がワイプされる問題を修正しました
  • 各種のバグ修正。

• 2025 年 9 月 16 日
  • Snowflake コネクタは、INFORMATION_SCHEMA コマンドの代わりにSHOW SCHEMAS テーブルを使用してスキーマを一覧表示するようになりました。 この変更により、前のアプローチの 10,000 スキーマの制限が削除され、多数のスキーマを持つデータベースのサポートが向上します。
  • [SPARK-50870][SQL] V2ScanRelationPushDown でタイムスタンプにキャストするときにタイムゾーンを追加する
  • オペレーティング システムのセキュリティを更新。

• 2025 年 9 月 9 日
  • 自動ローダーが無期限にハングする可能性がある問題を修正しました。
  • 自動ローダーでジョブが失敗する可能性がある一時的なエラーを修正しました
  • [SPARK-51821][CORE] デッドロックの可能性を回避するために、無停電ロックを保持せずに interrupt() を呼び出す
  • [SPARK-49872][CORE] jackson JSON 文字列の長さの制限を削除する
  • オペレーティング システムのセキュリティを更新。

• 2025 年 8 月 26 日
  • 更新された Java ライブラリ:
    • io.delta.delta-sharing-client_2.12 から 1.1.6 から 1.1.7
  • [SPARK-52482][SQL][CORE] 特定の破損した zstd ファイルを読み取るための例外処理を改善する
  • [SPARK-53192][CONNECT] Spark Connect プラン キャッシュにデータソースを常にキャッシュする
  • オペレーティング システムのセキュリティを更新。

• 2025 年 8 月 14 日
  • [SPARK-51011][CORE] 強制終了時にタスクが中断されるかどうかを示すログを追加する
  • オペレーティング システムのセキュリティを更新。

• 2025 年 7 月 29 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 7 月 21 日

  • Photon に対して有効になっているコンピューティングまたは Arm64 ベースの CPU を使用するコンピューティングの場合、mlflow-skinnyは 2.19.0 にアップグレードされ、rayは 2.37.0 にアップグレードされ、databricks-feature-engineeringは 0.8.0 にアップグレードされます。

• 2025 年 7 月 15 日

  • Spark Structured Streaming を使用して Pulsar からデータをストリーミングするときの非決定的なデータ損失の問題を修正しました。
  • [SPARK-52503][SQL][CONNECT] 入力列が存在しない場合の drop を修正

• 2025 年 7 月 1 日
  • 更新された Java ライブラリ:
    • org.mlflow.mlflow-spark_2.12 を 2.9.1 から 2.11.3 へ
    • com.fasterxml.jackson.dataformat.jackson-dataformat-yaml 2.15.2 を削除しました
    • org.slf4j.slf4j-simple 1.7.25 を削除しました
  • ファイル データ ソース リーダー (json、csv、xml、およびテキスト) の ZStandard 解凍対応
  • ファイル データ ソース リーダー (json、csv、xml、およびテキスト) の ZStandard 解凍対応
  • [15.4-16.4][spark-52521]](https://issues.apache.org/jira/browse/SPARK-52521)[SQL] Right#replacement は SQLConf に動的にアクセスできません
  • [SPARK-52482][SQL][CORE] ZStandard によるファイル データ ソース リーダーのサポート
  • [SPARK-52312][SQL] DataFrame のキャッシュ時に V2WriteCommand を無視する
  • オペレーティング システムのセキュリティを更新。

• 2025 年 6 月 17 日
  • cloud_files_stateテーブル値関数 (TVF) を使用して、パイプライン間でストリーミング テーブルのファイル レベルの状態を読み取ることができないという制限を修正しました。
  • [SPARK-49646][SQL] parentOuterReferences に collectedChildOuterReferences でカバーされていない参照がある場合のユニオン/集合操作のサブクエリの非相関化を修正する
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference はプラン ID を保持する必要があります

• 2025 年 6 月 3 日
  • 更新された Python ライブラリ:
    • 3.4.8、41.0.3 から 41.0.3 への暗号化
    • filelock を 3.13.4、3.15.4 から 3.13.4 へ更新
    • importlib-metadata を 4.6.4, 6.0.0 から 6.0.0 へ更新
    • platformdirs を 3.10.0、3.11.0 から 3.10.0 へ変更
    • pyparsing を 2.4.7、3.0.9 から 3.0.9 へ更新
    • zipp を 1.0.0、3.11.0 から 3.11.0 へ
    • pip 23.2.1 を追加しました
    • setuptools 68.0.0 を追加しました
    • wcwidth 0.2.5 を追加しました
    • ホイール 0.38.4 を追加しました
    • ディストリビューション 1.7.0 を削除しました
    • distro-info 1.1+ubuntu0.2 を削除しました
    • python-apt 2.4.0+ubuntu4 を削除しました
  • 更新された Java ライブラリ:
    • com.github.fommil.netlib.native_ref-java を 1.1、1.1 ネイティブから 1.1、1.1 へ更新
    • com.github.fommil.netlib.native_system-java を 1.1、1.1 ネイティブから 1.1、1.1 へ更新
    • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 のバージョンを 1.1-natives から 1.1 に変更
    • com.github.fommil.netlib.netlib-native_system-linux-x86_64 を 1.1 ネイティブ から 1.1 へ更新
    • io.netty.netty-tcnative-boringssl-static を 2.0.61.Final-db-r16-linux-aarch_64、2.0.61.Final-db-r16-linux-x86_64、2.0.61.Final-db-r16-osx-aarch_64、2.0.61.Final-db-r16-osx-x86_64、2.0.61.Final-db-r16-windows-x86_64 から 2.0.61.Final-db-r16, 2.0.61.Final-db-r16、2.0.61.Final-db-r16、2.0.61.Final-db-r16、2.0.61.Final-db-r16 へ更新
    • io.netty.netty-transport-native-epoll を 4.1.96.Final, 4.1.96.Final-linux-aarch_64、4.1.96.Final-linux-x86_64 から 4.1.96.Final、4.1.96.Final、4.1.96.Final へ更新
    • io.netty.netty-transport-native-kqueue を 4.1.96.Final-osx-aarch_64、4.1.96.Final-osx-x86_64 から 4.1.96.Final、4.1.96.Final へ更新
    • org.apache.orc.orc-core を 1.9.2-shaded-protobuf から 1.9.2 に変更
    • org.apache.orc.orc-mapreduce を 1.9.2-shaded-protobuf から 1.9.2 に変更
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64 から 1.6.2 に
  • [SPARK-52159][SQL] jdbc 言語のテーブル存在チェックを適切に処理する
  • オペレーティング システムのセキュリティを更新。

• 2025 年 5 月 20 日
  • 更新された Java ライブラリ:
    • io.delta.delta-sharing-client_2.12 を 1.1.5 から 1.1.6 に
  • ストリーミング複製セッションは、共有クラスター/サーバーレスの foreachBatch ユーザー関数内で使用されます。 これは、クラシック (割り当てられたクラスター) での動作に合わせて調整されます。
  • この変更の前は、photon を無効にして、 variant_get 式のパスの先頭の空白とタブが無視されていました。 たとえば、 select variant_get(parse_json('{"key": "value"}'), '$['key']') は、 "key"の値を抽出するのに有効ではありません。 ただし、ユーザーは、このようなキーを今すぐ抽出できるようになります。
  • [SPARK-51935][SQL] 解釈された df.collect() 内の反復子の遅延動作を修正する
  • オペレーティング システムのセキュリティを更新。

• 2025 年 4 月 22 日
  • 更新された Java ライブラリ:
    • org.apache.avro.avro 1.11.3 から 1.11.4
    • org.apache.avro.avro-ipc (1.11.3 から 1.11.4 へ)
    • org.apache.avro.avro-mapred 1.11.3 から 1.11.4
  • "[SPARK-47895][SQL] エイリアスによるグループ化は冪等であるべき" を15.4、16.0、16.1、16.2、および16.3で元に戻す。
  • [SPARK-50682][SQL] 内部エイリアスを正規化する必要がある
  • オペレーティング システムのセキュリティを更新。

• 2025 年 4 月 9 日
  • (動作の変更)重要なセキュリティ パッチを適用するために、Python 3.11.0rc1 から Python 3.11.11 に既定の Python バージョンが更新されます。 この更新プログラムは、Databricks Runtime 15.4 LTS で実行されている一部のワークロード (Python シリアル化を使用して実行間の状態の格納と復元を行うワークロード、または 3.11.0 Python バージョンにピン留めするワークロードなど) に影響を与える可能性があります。
  • 更新された Java ライブラリ:
    • io.starburst.openjson.openjson 1.8-e.12 を削除しました
    • io.starburst.openx.data.json-serde 1.3.9-e.12 を削除
    • io.starburst.openx.data.json-serde-generic-shim 1.3.9-e.12 を削除しました。
  • [SPARK-47895][SQL] エイリアスによるグループ化はべき等である必要がある
  • [SPARK-51624][SQL] GetStructField メタデータを CreateNamedStruct.dataType に伝達する
  • オペレーティング システムのセキュリティを更新。

• 2025 年 3 月 31 日
  • Photon でコンピューティングが有効になっていない場合、 databricks-feature-engineering は 0.8.0 にアップグレードされます。 Photon 対応コンピューティングの場合、 databricks-feature-engineering は 0.6.0 のままです。

• 2025 年 3 月 11 日

  • Databricks Runtime 14.3 LTS 以降には、 SparkListenerApplicationEnd クラスをインスタンス化し、Apache Spark に対してコンパイルされたコードとのバイナリ非互換性の原因となった問題の修正プログラムが含まれています。 この非互換性は、SPARK-46399 を Apache Spark にマージした結果です。 このマージには、SparkListenerApplicationEnd コンストラクターに既定の引数を追加する変更が含まれていました。 バイナリ互換性を復元するために、この修正により、SparkListenerApplicationEnd クラスに 1 つの引数コンストラクターが追加されます。
  • [SPARK-50985][SS] KafkaTokenProvider で不足しているサーバーのエラーをアサートとスローするのではではなく、Kafka タイムスタンプ オフセットの不一致エラーを分類する
  • [SPARK-50791][SQL] State Store エラー処理での NPE の修正
  • [SPARK-50310][PYTHON] DQC が無効になっている場合の列のパフォーマンスを向上する
  • [SPARK-51222][SQL] ReplaceCurrentLike を最適化する
  • [SPARK-49525][SS][CONNECT] サーバーサイド ストリーミング クエリの ListenerBus リスナーに対する軽微なログ改善
  • [SPARK-51084][SQL] negativeScaleNotAllowedError に適切なエラー クラスを割り当てる
  • オペレーティング システムのセキュリティを更新。

• 2025 年 2 月 11 日

  • このリリースには、復旧された XML データ列をシリアル化するときの特定のデータ型の変換に影響する問題の修正が含まれています。 影響を受けるデータ型は、日付、NTZ 以外のタイムスタンプ、および prefersDecimal が有効な場合の 10 進数です。 救助されたデータ列の詳細については、「救助されたデータ列とは」を参照してください。.
  • [SPARK-50492][SS] dropDuplicatesWithinWatermark の後にイベント時間列が削除されたときに java.util.NoSuchElementException を修正する
  • オペレーティング システムのセキュリティを更新。
  • Photon でコンピューティングが有効になっていない場合、 mlflow-skinny は 2.19.0 にアップグレードされます。 Photon 対応コンピューティングの場合、 mlflow-skinny は 2.13.1 のままです。

• 2024 年 12 月 10 日
  • USE CATALOG ステートメントは、IDENTIFIER 句をサポートするようになりました。 このサポートにより、文字列変数またはパラメーター マーカーに基づいて現在のカタログをパラメーター化できます。
  • このリリースには、バックグラウンドの自動圧縮に関連する特定のエッジ ケースで Delta テーブルの主キーが削除される可能性がある問題の修正プログラムが含まれています。
  • このリリースでは、Databricks コンピューティング ノードの SSD によって使用されるキャッシュ サイズは、SSD の初期サイズに動的に拡張され、必要に応じて spark.databricks.io.cache.maxDiskUsage の制限まで縮小されます。 Azure Databricksでのキャッシュによるパフォーマンスの最適化に関するページを参照してください。
  • pyodbc パッケージはバージョン 4.0.38 からバージョン 4.0.39 に更新されます。 この変更は、バージョン 4.0.38 でバグが見つかり、そのバージョンが PyPI から削除されたために必要です。
  • [SPARK-50329][SQL] InSet$toString を修正
  • [SPARK-47435][SQL] MySQL UNSIGNED TINYINT のオーバーフローの問題を修正
  • [SPARK-49757][SQL] IDENTIFIERSET ステートメントでの CATALOG 式のサポート
  • [SPARK-50426][PYTHON] 組み込みまたは Java データ ソースを使用するときに静的な Python データ ソース参照を回避する
  • [SPARK-48863][SQL] "spark.sql.json.enablePartialResults" を有効にして JSON を解析するときの ClassCastException を修正する
  • [SPARK-50310][PYTHON] PySpark の DataFrameQueryContext を無効にするフラグを追加する
  • [15.3-15.4] [SPARK-50034][CORE] SparkUncaughtExceptionHandler で致命的なエラーがキャッチされない例外として誤報告される問題を修正
  • オペレーティング システムのセキュリティを更新。
• 2024 年 11 月 26 日
  • このリリースでは、テキスト入力の vector_search を使用して query_text 関数に対してクエリを実行したり、入力を埋め込む query_vector を実行したりできるようになりました。
  • Spark 構成プロパティ spark.databricks.execution.timeoutを使用して、Spark Connect クエリのタイムアウトを設定できるようになりました。 サーバーレス コンピューティングで実行されているノートブックの場合、既定値は 9000 (秒) です。 標準アクセス モードでサーバーレス コンピューティングとコンピューティングで実行されているジョブは、この構成プロパティが設定されていない限りタイムアウトになりません。 指定したタイムアウトより長く実行すると、QUERY_EXECUTION_TIMEOUT_EXCEEDED エラーが発生します。
  • [SPARK-50322][SQL] サブクエリのパラメーター化された識別子を修正する
  • [SPARK-49615] [ML] すべての ML 機能トランスフォーマー データセット スキーマ検証を "spark.sql.caseSensitive" 構成に準拠させます。
  • [SPARK-50124][SQL] LIMIT/OFFSET はデータの順序を保持する必要があります
  • オペレーティング システムのセキュリティを更新。

• 2024 年 11 月 5 日
  • (破壊的変更)Databricks Runtime 15.4 LTS 以降では、Photon の正規表現処理が Apache Spark 正規表現処理の動作に合わせて更新されます。 以前は、split() や regexp_extract()など、Photon によって実行される正規表現関数では、Spark パーサーによって拒否された正規表現がいくつか受け入れられていた。 Apache Spark との一貫性を維持するために、Spark が無効と見なす正規表現に対して Photon クエリが失敗するようになりました。 この変更により、Spark コードに無効な正規表現が含まれている場合、エラーが発生する可能性があります。 たとえば、一致しない中かっこを含む式 split(str_col, '{') は、以前は Photon によって受け入れられていましたが、現在は失敗します。 この式を修正するには、中かっこ文字 (split(str_col, '\\{')) をエスケープできます。 また、ASCII 以外の文字の正規表現の一致によっては、Photon と Spark の動作も異なりました。 これは、Photon が Apache Spark の動作と一致するようにも更新されます。
  • [SPARK-49782][SQL]ResolveDataFrameDropColumns ルールは、子出力で UnresolvedAttribute を解決します
  • [SPARK-49867][SQL]GetColumnByOrdinal を呼び出すときにインデックスが範囲外の場合のエラー メッセージを改善する
  • [SPARK-49863][SQL]NormalizeFloatingNumbers を修正して、入れ子になった構造体の null 値の許容を維持する
  • [SPARK-49829] ストリーム間結合で状態ストアに入力を追加する際の最適化を修正する（正確性の向上）
  • [SPARK-49905] ステートフル演算子に専用の ShuffleOrigin を使用して、AQE からシャッフルが変更されないようにする
  • [SPARK-46632][SQL]同等の三項式に異なる子がある場合の部分式の削除を修正する
  • [SPARK-49443][SQL][PYTHON] to_variant_object式を実装し、schema_of_variant式がバリアントオブジェクトに対してOBJECTを出力するようにします
  • [SPARK-49615] バグ修正: ML 列スキーマの検証が spark 構成 spark.sql.caseSensitiveに準拠するようにします。

• 2024 年 10 月 22 日
  • [SPARK-49782][SQL]ResolveDataFrameDropColumns ルールは、子出力で UnresolvedAttribute を解決します
  • [SPARK-49867][SQL]GetColumnByOrdinal を呼び出すときにインデックスが範囲外の場合のエラー メッセージを改善する
  • [SPARK-49863][SQL]NormalizeFloatingNumbers を修正して、入れ子になった構造体の null 値の許容を維持する
  • [SPARK-49829] ストリーム間結合で状態ストアに入力を追加する際の最適化を修正する（正確性の向上）
  • [SPARK-49905] ステートフル演算子に専用の ShuffleOrigin を使用して、AQE からシャッフルが変更されないようにする
  • [SPARK-46632][SQL]同等の三項式に異なる子がある場合の部分式の削除を修正する
  • [SPARK-49443][SQL][PYTHON] to_variant_object式を実装し、schema_of_variant式がバリアントオブジェクトに対してOBJECTを出力するようにします
  • [SPARK-49615] バグ修正: ML 列スキーマの検証が spark 構成 spark.sql.caseSensitiveに準拠するようにします。
• 2024 年 10 月 10 日
  • [SPARK-49743][SQL]GetArrayStructFields を排除するときに OptimizeCsvJsonExpr でスキーマ フィールドを変更しないでください
  • [SPARK-49688][CONNECT] 割り込みと実行プランの間のデータ競合を修正する
  • [BACKPORT] [SPARK-49474][SS] FlatMapGroupsWithState ユーザー関数のエラークラスを分類するエラー
  • [SPARK-49460][SQL]補足情報: 潜在的な NPE リスクを修正する
• 2024 年 9 月 25 日
  • [SPARK-49628][SQL]ConstantFolding では、評価前にステートフル式をコピーする必要があります
  • [SPARK-49000][SQL]RewriteDistinctAggregates を展開して、t が空のテーブルである "select count(distinct 1) from t" を修正しました
  • [SPARK-49492][CONNECT]非アクティブな ExecutionHolder に対して再アタッチが試行されました
  • [SPARK-49458][CONNECT][PYTHON]ReattachExecute を使用してサーバー側のセッション ID を指定する
  • [SPARK-49017][SQL]複数のパラメーターが使用されている場合、Insert ステートメントが失敗する
  • [SPARK-49451] parse_jsonで重複するキーを許可します。
  • 各種のバグ修正。
• 2024 年 9 月 17 日
  • [SPARK-48463][ML] Binarizer、Bucketizer、Vector Assembler、FeatureHasher、QuantizeDiscretizer、OnehotEncoder、StopWordsRemover、Imputer、Interactor でネストされた入力列をサポートするようにする
  • [SPARK-49409][CONNECT]CONNECT_SESSION_PLAN_CACHE_SIZEの既定値を調整する
  • [SPARK-49526][CONNECT][HOTFIX-15.4.2] ArtifactManager での Windows スタイルのパスのサポート
  • "[SPARK-48482][PYTHON] dropDuplicates と dropDuplicatesWIthinWatermark は可変長引数を受け入れる必要があります" を元に戻す
  • [SPARK-43242][CORE] シャッフルの破損診断中に「予期しないタイプの BlockId」をスローする問題を修正する
  • [SPARK-49366][CONNECT]データフレーム列解決で共用体ノードをリーフとして扱う
  • [SPARK-49018][SQL] 照合順序で「approx_count_distinct」関数が正しく動作しない問題を修正しました
  • [SPARK-49460][SQL]EmptyRelationExec から cleanupResource() を削除する
  • [SPARK-49056][SQL] ErrorClassesJsonReader は null を正しく処理できません
  • [SPARK-49336][CONNECT] protobuf メッセージを切り捨てる場合の入れ子レベルを制限する
• 2024 年 8 月 29 日
  • SHOW CREATE TABLE ステートメントからの出力には、具体化されたビューまたはストリーミング テーブルで定義されている行フィルターまたは列マスクが含まれるようになりました。 SHOW CREATE TABLEを参照してください。 行フィルターと列マスクの詳細については、「 行フィルターと列マスク」を参照してください。
  • 共有アクセス モードで構成されたコンピューティングでは、Kafka バッチの読み取りと書き込みには、構造化ストリームに関して文書化されている制限事項と同じものが実施されるようになりました。 ストリーミングの制限事項を参照してください。
  • [SPARK-48941][SPARK-48970] バックポート ML ライター/リーダーの修正
  • [SPARK-49074][SQL] df.cache() でバリアントを修正する
  • [SPARK-49263][CONNECT] Spark Connect Python クライアント: ブール値データフレーム リーダーのオプションを一貫して処理する
  • [SPARK-48955][SQL] ArrayCompact の変更を 15.4 に含める
  • [SPARK-48937][SQL] StringToMap の文字列式に照合順序のサポートを追加する
  • [SPARK-48929] ビューの内部エラーを修正し、パーサー例外コンテキストをクリーンアップする
  • [SPARK-49125][SQL] CSV 書き込みで重複する列名を許可する
  • [SPARK-48934][SS] applyInPandasWithState でタイムアウト設定に Python の datetime タイプが正しく変換されていない
  • [SPARK-48843] BindParameters を使用して無限ループを防止する
  • [SPARK-48981] 照合順序のために pyspark で StringType の simpleString メソッドを修正する
  • [SPARK-49065][SQL] レガシ フォーマッタ/パーサーのリベースは、JVM 以外のデフォルト タイム ゾーンをサポートする必要があります
  • [SPARK-48896][SPARK-48909][SPARK-48883] バックポート Spark ML ライターの修正
  • [SPARK-48725][SQL] CollationAwareUTF8String.lowerCaseCodePoints を文字列式に統合する
  • [SPARK-48978][SQL] UTF8_LCASE の照合順序サポートに ASCII 高速パスを実装する
  • [SPARK-49047][PYTHON][CONNECT] ログ記録用にメッセージを切り詰める
  • [SPARK-49146][SS] 追加モードのストリーミング クエリでウォーターマークが見つからない問題に関連するアサーション エラーをエラー フレームワークに移動する
  • [SPARK-48977][SQL] UTF8_LCASE 照合順序で文字列検索を最適化する
  • [SPARK-48889][SS] 終了する前に testStream で状態ストアをアンロードする
  • [SPARK-48463] StringIndexer で入れ子になった入力列をサポートさせる
  • [SPARK-48954] try_mod() は try_remainder() を置き換える
  • オペレーティング システムのセキュリティを更新。

Databricks Runtime 14.3 LTS

「Databricks Runtime 14.3 LTS」をご覧ください。

• 2025 年 11 月 4 日
  • 更新された R ライブラリ:
    • 12.0.1 から 21.0.0 への矢印
  • オペレーティング システムのセキュリティを更新。

• 2025 年 10 月 21 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 10 月 7 日
  • [SPARK-53568][CONNECT][PYTHON] Spark Connect Python クライアント エラー処理ロジックのいくつかの小さなバグを修正する
  • [SPARK-53574] 入れ子になったプランの解決中に AnalysisContext がワイプされる問題を修正しました
  • 各種のバグ修正。

• 2025 年 9 月 16 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 9 月 9 日
  • 自動ローダーが無期限にハングする可能性がある問題を修正しました。
  • [SPARK-49872][CORE] jackson JSON 文字列の長さの制限を削除する
  • オペレーティング システムのセキュリティを更新。

• 2025 年 8 月 26 日
  • 更新された Java ライブラリ:
    • io.delta.delta-sharing-client_2.12 から 1.1.6 から 1.1.7
  • [SPARK-52482][SQL][CORE] 特定の破損した zstd ファイルを読み取るための例外処理を改善する
  • オペレーティング システムのセキュリティを更新。

• 2025 年 8 月 14 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 7 月 29 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 7 月 15 日
  • [SPARK-52503][SQL][CONNECT] 入力列が存在しない場合の drop を修正
  • 各種のバグ修正。

• 2025 年 7 月 1 日
  • ファイル データ ソース リーダー (json、csv、xml、およびテキスト) の ZStandard 解凍対応
  • ファイル データ ソース リーダー (json、csv、xml、およびテキスト) の ZStandard 解凍対応
  • [SPARK-52521][SQL] Right#replacement は SQLConf に動的にアクセスしないでください
  • [SPARK-52482][SQL][CORE] ZStandard によるファイル データ ソース リーダーのサポート
  • オペレーティング システムのセキュリティを更新。

• 2025 年 6 月 17 日
  • cloud_files_stateテーブル値関数 (TVF) を使用して、パイプライン間でストリーミング テーブルのファイル レベルの状態を読み取ることができないという制限を修正しました。
  • [SPARK-49646][SQL] parentOuterReferences に collectedChildOuterReferences でカバーされていない参照がある場合のユニオン/集合操作のサブクエリの非相関化を修正する

• 2025 年 6 月 3 日
  • 更新された Python ライブラリ:
    • 3.4.8、39.0.1 から 39.0.1 への暗号化
    • platformdirs を 2.5.2、2.6.2 から 2.5.2 へ変更
    • pyparsing を 2.4.7、3.0.9 から 3.0.9 へ更新
    • pip 22.3.1 を追加しました
    • setuptools 65.6.3 を追加しました
    • tomli 2.0.1 を追加しました
    • wcwidth 0.2.5 を追加しました
    • ホイール 0.38.4 を追加しました
    • ディストリビューション 1.7.0 を削除しました
    • distro-info 1.1+ubuntu0.2 を削除しました
    • python-apt 2.4.0+ubuntu4 を削除しました
  • 更新された Java ライブラリ:
    • com.github.fommil.netlib.native_ref-java を 1.1、1.1 ネイティブから 1.1、1.1 へ更新
    • com.github.fommil.netlib.native_system-java を 1.1、1.1 ネイティブから 1.1、1.1 へ更新
    • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 のバージョンを 1.1-natives から 1.1 に変更
    • com.github.fommil.netlib.netlib-native_system-linux-x86_64 を 1.1 ネイティブ から 1.1 へ更新
    • io.netty.netty-tcnative-boringssl-static を 2.0.61.Final-db-r16-linux-aarch_64、2.0.61.Final-db-r16-linux-x86_64、2.0.61.Final-db-r16-osx-aarch_64、2.0.61.Final-db-r16-osx-x86_64、2.0.61.Final-db-r16-windows-x86_64 から 2.0.61.Final-db-r16, 2.0.61.Final-db-r16、2.0.61.Final-db-r16、2.0.61.Final-db-r16、2.0.61.Final-db-r16 へ更新
    • io.netty.netty-transport-native-epoll を 4.1.96.Final, 4.1.96.Final-linux-aarch_64、4.1.96.Final-linux-x86_64 から 4.1.96.Final、4.1.96.Final、4.1.96.Final へ更新
    • io.netty.netty-transport-native-kqueue を 4.1.96.Final-osx-aarch_64、4.1.96.Final-osx-x86_64 から 4.1.96.Final、4.1.96.Final へ更新
    • org.apache.orc.orc-core を 1.9.2-shaded-protobuf から 1.9.2 に変更
    • org.apache.orc.orc-mapreduce を 1.9.2-shaded-protobuf から 1.9.2 に変更
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider を 1.6.1-linux-x86_64 から 1.6.1 に更新
  • [SPARK-52040][PYTHON][SQL][CONNECT] ResolveLateralColumnAliasReference はプラン ID を保持する必要があります
  • [SPARK-52159][SQL] jdbc 言語のテーブル存在チェックを適切に処理する
  • オペレーティング システムのセキュリティを更新。

• 2025 年 5 月 20 日
  • 更新された Java ライブラリ:
    • io.delta.delta-sharing-client_2.12 を 1.1.5 から 1.1.6 に
  • [SPARK-51935][SQL] 解釈された df.collect() 内の反復子の遅延動作を修正する
  • オペレーティング システムのセキュリティを更新。

• 2025 年 4 月 22 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 4 月 9 日

  • [動作の変更]バキューム操作では、他の操作と同様にライター プロトコル チェックが実行されるようになり、互換性のない古い DBR バージョンから実行すると、新しい機能を持つテーブルで予期しないクリーンアップが回避されるようになりました。
  • [SPARK-51624][SQL] GetStructField メタデータを CreateNamedStruct.dataType に伝達する
  • オペレーティング システムのセキュリティを更新。

• 2025 年 3 月 11 日

  • Databricks Runtime 14.3 LTS 以降には、 SparkListenerApplicationEnd クラスをインスタンス化し、Apache Spark に対してコンパイルされたコードとのバイナリ非互換性の原因となった問題の修正プログラムが含まれています。 この非互換性は、SPARK-46399 を Apache Spark にマージした結果です。 このマージには、SparkListenerApplicationEnd コンストラクターに既定の引数を追加する変更が含まれていました。 バイナリ互換性を復元するために、この修正により、SparkListenerApplicationEnd クラスに 1 つの引数コンストラクターが追加されます。
  • [SPARK-50791][SQL] State Store エラー処理での NPE の修正
  • [SPARK-50705][SQL] QueryPlan ロックフリーにする
  • [SPARK-49525][SS][CONNECT] サーバーサイド ストリーミング クエリの ListenerBus リスナーに対する軽微なログ改善
  • オペレーティング システムのセキュリティを更新。

• 2025 年 2 月 11 日

  • このリリースには、復旧された XML データ列をシリアル化するときの特定のデータ型の変換に影響する問題の修正が含まれています。 影響を受けるデータ型は、日付、NTZ 以外のタイムスタンプ、および prefersDecimal が有効な場合の 10 進数です。 救助されたデータ列の詳細については、「救助されたデータ列とは」を参照してください。.
  • [SPARK-50492][SS] dropDuplicatesWithinWatermark の後にイベント時間列が削除されたときに java.util.NoSuchElementException を修正する
  • [SPARK-51084][SQL] negativeScaleNotAllowedError に適切なエラー クラスを割り当てる
  • オペレーティング システムのセキュリティを更新。

• 2024 年 12 月 10 日
  • このリリースには、バックグラウンドの自動圧縮に関連する特定のエッジ ケースで Delta テーブルの主キーが削除される可能性がある問題の修正プログラムが含まれています。
  • [SPARK-50329][SQL] InSet$toString を修正
  • オペレーティング システムのセキュリティを更新。
• 2024 年 11 月 26 日
  • [SPARK-49615] [ML] すべての ML 機能トランスフォーマー データセット スキーマ検証を "spark.sql.caseSensitive" 構成に準拠させます。
  • オペレーティング システムのセキュリティを更新。
• 2024 年 11 月 5 日
  • [SPARK-48843] BindParameters を使用して無限ループを防止する
  • [SPARK-49829] ストリーム間結合で状態ストアに入力を追加する際の最適化を修正する（正確性の向上）
  • [SPARK-49863][SQL]NormalizeFloatingNumbers を修正して、入れ子になった構造体の null 値の許容を維持する
  • [BACKPORT] [SPARK-49326][SS] Foreach シンクユーザー関数エラーのエラークラスを分類する
  • [SPARK-49782][SQL]ResolveDataFrameDropColumns ルールは、子出力で UnresolvedAttribute を解決します
  • [SPARK-46632][SQL]同等の三項式に異なる子がある場合の部分式の削除を修正する
  • [SPARK-49905] ステートフル演算子に専用の ShuffleOrigin を使用して、AQE からシャッフルが変更されないようにする
  • オペレーティング システムのセキュリティを更新。
• 2024 年 10 月 22 日
  • [SPARK-48843] BindParameters を使用して無限ループを防止する
  • [SPARK-49863][SQL]NormalizeFloatingNumbers を修正して、入れ子になった構造体の null 値の許容を維持する
  • [SPARK-49905] ステートフル演算子に専用の ShuffleOrigin を使用して、AQE からシャッフルが変更されないようにする
  • [SPARK-46632][SQL]同等の三項式に異なる子がある場合の部分式の削除を修正する
  • [SPARK-49782][SQL]ResolveDataFrameDropColumns ルールは、子出力で UnresolvedAttribute を解決します
  • [BACKPORT] [SPARK-49326][SS] Foreach シンクユーザー関数エラーのエラークラスを分類する
  • [SPARK-49829] ストリーム間結合で状態ストアに入力を追加する際の最適化を修正する（正確性の向上）
  • オペレーティング システムのセキュリティを更新。
• 2024 年 10 月 10 日
  • [BACKPORT] [SPARK-49474][SS] FlatMapGroupsWithState ユーザー関数のエラークラスを分類するエラー
  • [SPARK-49743][SQL]GetArrayStructFields を排除するときに OptimizeCsvJsonExpr でスキーマ フィールドを変更しないでください
  • [SPARK-49688][CONNECT] 割り込みと実行プランの間のデータ競合を修正する
• 2024 年 9 月 25 日
  • [SPARK-48810][CONNECT] Session stop() API はべき等である必要があり、セッションがすでにサーバーによって閉じられている場合でもエラーを発生させてはならない。
  • [SPARK-48719][SQL]'RegrS... の計算バグを修正しました。
  • [SPARK-49000][SQL]RewriteDistinctAggregates を展開して、t が空のテーブルである "select count(distinct 1) from t" を修正しました
  • [SPARK-49628][SQL]ConstantFolding では、評価前にステートフル式をコピーする必要があります
  • [SPARK-49492][CONNECT]非アクティブな ExecutionHolder に対して再アタッチが試行されました
  • オペレーティング システムのセキュリティを更新。
• 2024 年 9 月 17 日
  • [SPARK-49336][CONNECT] protobuf メッセージを切り捨てる場合の入れ子レベルを制限する
  • [SPARK-43242][CORE] シャッフルの破損診断中に「予期しないタイプの BlockId」をスローする問題を修正する
  • [SPARK-48463][ML] Binarizer、Bucketizer、Vector Assembler、FeatureHasher、QuantizeDiscretizer、OnehotEncoder、StopWordsRemover、Imputer、Interactor でネストされた入力列をサポートするようにする
  • [SPARK-49526][CONNECT]ArtifactManager で Windows スタイルのパスをサポートする
  • [SPARK-49409][CONNECT]CONNECT_SESSION_PLAN_CACHE_SIZEの既定値を調整する
  • [SPARK-49366][CONNECT]データフレーム列解決で共用体ノードをリーフとして扱う
• 2024 年 8 月 29 日
  • [SPARK-49146][SS] 追加モードのストリーミング クエリでウォーターマークが見つからない問題に関連するアサーション エラーをエラー フレームワークに移動する
  • [SPARK-48862][PYTHON][CONNECT] INFO レベルが有効化されていないときに _proto_to_string の呼び出しは避けてください
  • [SPARK-49263][CONNECT] Spark Connect Python クライアント: ブール値データフレーム リーダーのオプションを一貫して処理する
• 2024 年 8 月 14 日
  • [SPARK-48941][SPARK-48970] バックポート ML ライター/リーダーの修正
  • [SPARK-48706][PYTHON] 高階関数の Python UDF は内部エラーをスローしてはなりません
  • [SPARK-49056][SQL] ErrorClassesJsonReader は null を正しく処理できません
  • [SPARK-48597][SQL] 論理プランのテキスト表現に isStreaming プロパティのマーカーを導入する
  • [SPARK-49065][SQL] レガシ フォーマッタ/パーサーのリベースは、JVM 以外のデフォルト タイム ゾーンをサポートする必要があります
  • [SPARK-48934][SS] applyInPandasWithState でタイムアウト設定に Python の datetime タイプが正しく変換されていない
• 2024 年 8 月 1 日
  • このリリースには、Spark Java インターフェイスの ColumnVector クラスと ColumnarArray クラスのバグ修正が含まれています。 この修正プログラムの前には、これらのクラスのいずれかのインスタンスに ArrayIndexOutOfBoundsException 値が含まれていると、null がスローされるか、正しくないデータが返される可能性がありました。
  • ノートブックとジョブのサーバーレス コンピューティングでは、ANSI SQL モードが既定で有効になっています。 「サポートされている Spark 構成パラメーター」を参照してください。
  • 共有アクセス モードで構成されたコンピューティングでは、Kafka バッチの読み取りと書き込みには、構造化ストリームに関して文書化されている制限事項と同じものが実施されるようになりました。 ストリーミングの制限事項を参照してください。
  • SHOW CREATE TABLE ステートメントからの出力には、具体化されたビューまたはストリーミング テーブルで定義されている行フィルターまたは列マスクが含まれるようになりました。 SHOW CREATE TABLEを参照してください。 行フィルターと列マスクの詳細については、「 行フィルターと列マスク」を参照してください。
  • 共有アクセス モードで構成されたコンピューティングでは、Kafka バッチの読み取りと書き込みには、構造化ストリームに関して文書化されている制限事項と同じものが実施されるようになりました。 ストリーミングの制限事項を参照してください。
  • SHOW CREATE TABLE ステートメントからの出力には、具体化されたビューまたはストリーミング テーブルで定義されている行フィルターまたは列マスクが含まれるようになりました。 SHOW CREATE TABLEを参照してください。 行フィルターと列マスクの詳細については、「 行フィルターと列マスク」を参照してください。
  • [SPARK-48896][SPARK-48909][SPARK-48883] バックポート Spark ML ライターの修正
  • [SPARK-48889][SS] 終了する前に testStream で状態ストアをアンロードする
  • [SPARK-48705][PYTHON] pyspark を使用して起動されるときに worker_main を明示的に使用する
  • [SPARK-48047][SQL] 空の TreeNode タグのメモリ負荷を軽減する
  • [SPARK-48544][SQL] 空の TreeNode BitSets のメモリ負荷を軽減する
  • [SPARK-46957][CORE] デコミッション移行済みシャッフル ファイルはエグゼキューターからクリーンアップできる必要がある
  • [SPARK-48463] StringIndexer で入れ子になった入力列をサポートさせる
  • [SPARK-47202] [PYTHON] tzinfo で datetimes を壊す入力ミスを修正する
  • [SPARK-47713][SQL][CONNECT] 自己結合エラーを修正する
  • オペレーティング システムのセキュリティを更新。
• 2024 年 7 月 11 日
  • (動作変更) Delta テーブル ソースに対してキャッシュされた DataFrame は、ソース テーブルが上書きされたら無効化されるようになりました。 この変更は、Delta テーブルに対するすべての状態変更により、キャッシュされた結果が無効になったことを指します。 .checkpoint() を使用して DataFrame の有効期間全体にわたってテーブルの状態を永続化します。
  • Snowflake JDBC ドライバーでは、バージョン 3.16.1 に更新されました。
  • このリリースには、Databricks コンテナー サービスで実行中に [Spark UI] の [環境] タブが正しく表示されない問題の修正が含まれています。
  • ノートブックとジョブのサーバーレス コンピューティングでは、ANSI SQL モードが既定で有効になっています。 「サポートされている Spark 構成パラメーター」を参照してください。
  • データの読み取り時に無効なパーティションを無視するには、Parquet、ORC、CSV、JSON などのファイル ベースのデータ ソースで ignoreInvalidPartitionPaths データ ソース オプションを true に設定できます。 例: spark.read.format(“parquet”).option(“ignoreInvalidPartitionPaths”, “true”).load(…)。 SQL 構成 spark.sql.files.ignoreInvalidPartitionPaths を使用することもできます。 ただし、データ ソース オプションは SQL 構成よりも優先されます。 この設定の既定は false です。
  • [SPARK-48648][PYTHON][CONNECT] SparkConnectClient.tags を適切に threadlocal にする
  • [SPARK-48445][SQL] コストが高い子要素を含む UDF をインライン化しない
  • [SPARK-48481][SQL][SS] OptimizeOneRowPlan をストリーミング Dataset に適用しない
  • [SPARK-48383][SS] Kafka の startOffset オプションでパーティションのミスマッチに対してより良いエラーをスローする
  • [SPARK-48503][SQL] 等価でない列に対して group-by がある場合に誤って許可されていた無効なスカラーサブクエリを修正する
  • [SPARK-48100][SQL] スキーマで選択されていない入れ子構造フィールドのスキップに関する問題を修正する
  • [SPARK-48273][SQL] PlanWithUnresolvedIdentifier の遅延書き換えを修正する
  • [SPARK-48252][SQL] 必要なときに CommonExpressionRef を更新する
  • [SPARK-48475][PYTHON] PySpark で _get_jvm_function in を最適化する
  • [SPARK-48292][CORE] 取り消し: [SPARK-39195][SQL] Spark OutputCommitCoordinator はコミットされたファイルとタスクの状態が整合していない場合にステージを中止する必要がある
  • オペレーティング システムのセキュリティを更新。
• 2024 年 6 月 17 日
  • applyInPandasWithState() は、標準アクセス モードのコンピューティングで使用できます。
  • Photon TopK を使用したランクウィンドウの最適化で、構造体を含むパーティションが正しく処理されないバグを修正しました。
  • [SPARK-48310][PYTHON][CONNECT] キャッシュされたプロパティはコピーを返す必要がある
  • [SPARK-48276][PYTHON][CONNECT] __repr__ の足りない SQLExpression メソッドを追加する
  • [SPARK-48294][SQL] nestedTypeMissingElementTypeError で小文字を処理する
  • オペレーティング システムのセキュリティを更新。
• 2024 年 5 月 21 日
  • (動作変更) dbutils.widgets.getAll()ために がサポートされるようになりました。
  • 10 進数を含む入力で予期しない例外が発生する try_divide() 関数のバグを修正しました。
  • [SPARK-48056][CONNECT][PYTHON] SESSION_NOT_FOUND エラーが発生しても部分的な応答が受信されなかった場合にプランを再実行する
  • [SPARK-48146][SQL] With 式子アサーションの集計関数を修正する
  • [SPARK-47986][CONNECT][PYTHON] 既定のセッションがサーバーによって閉じられたときに新しいセッションを作成できない
  • [SPARK-48180][SQL] TABLE 引数を使用した UDTF 呼び出しで、複数の PARTITION/ORDER BY 式で周りのかっこが消えるエラーを改善する
  • [SPARK-48016][SQL] 10 進数を使用する場合 try_divide 関数のバグを修正する
  • [SPARK-48197][SQL] 無効なラムダ関数のアサート エラーを回避する
  • [SPARK-47994][SQL] SQLServer で CASE WHEN 列フィルターがプッシュダウンされるバグを修正する
  • [SPARK-48173][SQL] CheckAnalysis にクエリ プラン全体が表示される
  • [SPARK-48105][SS] 状態ストアのアンロードとスナップショット処理の間の競合状態を修正する
  • オペレーティング システムのセキュリティを更新。

• 2024 年 5 月 9 日
  • (動作の変更) applyInPandas Databricks Runtime 14.3 LTS 以降を実行する共有アクセス モード コンピューティングで、 mapInPandas UDF の種類がサポートされるようになりました。
  • [SPARK-47739][SQL] 論理 avro 型を登録する
  • [SPARK-47941] [SS] [Connect] PySpark の ForeachBatch worker 初期化エラーについてユーザーに伝える
  • [SPARK-48010][SQL] resolveExpression で conf.resolver を繰り返し呼び出さないようにする
  • [SPARK-48044][PYTHON][CONNECT] DataFrame.isStreaming をキャッシュする
  • [SPARK-47956][SQL] 未解決の LCA リファレンスのサニティ チェックを実行する
  • [SPARK-47543][CONNECT][PYTHON] Pandas DataFrame から dict を MapType として推論して DataFrame を作成できるようにする
  • [SPARK-47819][CONNECT][Cherry-pick-14.3] 実行のクリーンアップに非同期コールバックを使用する
  • [SPARK-47764][CORE][SQL] ShuffleCleanupMode に基づくシャッフル依存関係をクリーンアップする
  • [SPARK-48018][SS] KafkaException.couldNotReadOffsetRange をスローするときにパラメーター不足のエラーを引き起こす、null groupId を修正する
  • [SPARK-47839][SQL] RewriteWithExpression における集計のバグを修正する
  • [SPARK-47371][SQL] XML: CDATA で見つかった行タグを無視する
  • [SPARK-47895][SQL] グループ分け、をすべてべき等にする
  • [SPARK-47973][CORE] SparkContext.stop() と SparkContext.assertNotStopped() 内で呼び出し元をログに記録する
  • オペレーティング システムのセキュリティを更新。

• 2024 年 4 月 25 日
  • [SPARK-47543][CONNECT][PYTHON] Pandas DataFrame から dict を MapType として推論して DataFrame を作成できるようにする
  • [SPARK-47694][CONNECT] クライアント側で最大メッセージ サイズを構成できるようにする
  • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] キャッシュされたスキーマで列名を検証する
  • [SPARK-47862][PYTHON][CONNECT] proto ファイルの生成を修正する
  • "[SPARK-47543][CONNECT][PYTHON] Pandas DataFrame から dict を MapType として推論して DataFrame を作成できるようにする" を取り消す
  • [SPARK-47704][SQL] spark.sql.json.enablePartialResults が有効になっている場合に、JSON の解析が "java.lang.ClassCastException" で失敗する
  • [SPARK-47812][CONNECT] ForEachBatch ワーカーの SparkSession のシリアル化をサポートする
  • [SPARK-47818][CONNECT][Cherry-pick-14.3] SparkConnectPlanner にプラン キャッシュを導入して、分析要求のパフォーマンスを向上させる
  • [SPARK-47828][CONNECT][PYTHON] 無効なプランで DataFrameWriterV2.overwrite が失敗する
  • オペレーティング システムのセキュリティを更新。
• 2024 年 4 月 11 日
  • (動作変更)コンピューティングの種類間で一貫した動作を保証するために、標準アクセス モードのコンピューティング上の PySpark UDF は、分離なしクラスターと割り当てられたクラスターでの UDF の動作と一致するようになりました。 この更新プログラムには、既存のコードを中断する可能性がある次の変更が含まれています。
    • 戻り値の型が string である UDF は、非 string 値を string 値に暗黙的には変換しなくなりました。 以前は、戻り値の型が str である UDF は、戻り値の実際のデータ型に関係なく、戻り値を str() 関数でラップしていました。
    • 戻り値の型が timestamp である UDF は、timestamp を持つ timezone への変換を暗黙的には適用しなくなりました。
    • Spark クラスター構成 spark.databricks.sql.externalUDF.*、標準アクセス モードのコンピューティング上の PySpark UDF には適用されなくなりました。
    • Spark クラスター構成 spark.databricks.safespark.externalUDF.plan.limit は、PySpark UDF には影響を与えなくなり、クエリあたり 5 個の UDF という PySpark UDF でのパブリック プレビュー制限が削除されました。
    • Spark クラスター構成 spark.databricks.safespark.sandbox.size.default.mib、標準アクセス モードのコンピューティング上の PySpark UDF には適用されなくなりました。 代わりに、システム上の使用可能なメモリが使用されます。 PySpark UDF のメモリを制限するには、最小値を spark.databricks.pyspark.udf.isolation.memoryLimit にして 100m を使用します。
  • TimestampNTZ データ型は、リキッド クラスタリングを使用するクラスタリング列としてサポートされるようになりました。 表に液体クラスタリングを使用するを参照してください。
  • [SPARK-47511][SQL] ID を再割り当てすることで式で正規化します
  • [SPARK-47509][SQL] ラムダ関数と上位関数のサブクエリ式をブロックします
  • [SPARK-46990][SQL] イベントハブによって出力される空の Avro ファイルが読み込まれる問題を修正します
  • [SPARK-47638][PS][CONNECT] PS での列名の検証をスキップします
  • オペレーティング システムのセキュリティを更新。
• 2024 年 3 月 14 日
  • [SPARK-47135][SS] Kafka データ損失例外のエラー クラスを実装します
  • [SPARK-47176][SQL] ResolveAllExpressionsUpWithPruning ヘルパー関数がある
  • [SPARK-47145][SQL] V2 戦略の行データ ソース スキャン exec にテーブル識別子を渡します。
  • [SPARK-47044][SQL] JDBC 外部データソースに対して実行されたクエリを追加して出力を説明する
  • [SPARK-47167][SQL] JDBC 匿名関係の具象クラスを追加する
  • [SPARK-47070] サブクエリの書き換え後の無効な集計を修正する
  • [SPARK-47121][CORE] StandaloneSchedulerBackend のシャットダウン時に RejectedExecutionExceptions を回避する
  • "[SPARK-46861][CORE] DAGScheduler でのデッドロックを回避する" を取り消す
  • [SPARK-47125][SQL] Univocity が解析をトリガーしない場合は null を返す
  • [SPARK-46999][SQL] ExpressionWithUnresolvedIdentifier は式ツリーに他の式を含める必要がある
  • [SPARK-47129][CONNECT][SQL] ResolveRelations キャッシュ接続プランを適切に作成する
  • [SPARK-47241][SQL] ExtractGenerator のルールの順序の問題を修正します
  • [SPARK-47035][SS][CONNECT] クライアント側リスナーのプロトコル
  • オペレーティング システムのセキュリティを更新。
• 2024 年 2 月 29 日
  • MERGE コマンドでローカル コレクションをソースとして使用すると、操作メトリック numSourceRows が正しい行数の 2 倍になる問題を修正しました。
  • 定義された場所でスキーマを作成するには、ユーザーが ANY FILE に対する SELECT および MODIFY 権限を持っている必要があります。
  • [SPARK-47071][SQL] 特殊な式が含まれている場合に With 式をインライン化する
  • [SPARK-47059][SQL] ALTER COLUMN v1 コマンドのエラー コンテキストをアタッチする
  • [SPARK-46993][SQL] セッション変数の定数の畳み込みを修正する
  • オペレーティング システムのセキュリティを更新。
• 2024 年 1 月 3 日
  • [SPARK-46933] JDBCRDD を使用するコネクタにクエリ実行時間メトリックを追加します。
  • [SPARK-46763] 重複する属性での ReplaceDeduplicateWithAggregate のアサーション エラーを修正します。
  • [SPARK-46954] XML: InputStreamReader を BufferedReader でラップします。
  • [SPARK-46655]DataFrame メソッドでのクエリ コンテキストのキャッチをスキップします。
  • [SPARK-44815] 余分な RPC を回避するために df.schema をキャッシュします。
  • [SPARK-46952] XML: 破損したレコードのサイズを制限します。
  • [SPARK-46794] LogicalRDD 制約からサブクエリを削除します。
  • [SPARK-46736] protobuf コネクタに空のメッセージ フィールドを保持します。
  • [SPARK-45182] チェックサムで確定された親の不確定ステージを再試行した後で、古いステージからのタスクの完了を無視します。
  • [SPARK-46414] prependBaseUri を使用して javascript インポートをレンダリングします。
  • [SPARK-46383]TaskInfo.accumulables() の有効期間を短縮してドライバー ヒープの使用量を削減します。
  • [SPARK-46861] DAGScheduler でのデッドロックを回避します。
  • [SPARK-46954] XML: スキーマ インデックスの検索を最適化します。
  • [SPARK-46676] dropDuplicatesWithinWatermark はプランの正規化でエラーになってはなりません。
  • [SPARK-46644] isZero を使用するように SQLMetric の add と merge を変更します。
  • [SPARK-46731] 状態データ ソース - リーダーによって状態ストア プロバイダー インスタンスを管理します。
  • [SPARK-46677]dataframe["*"] の解像度を修正します。
  • [SPARK-46610] テーブル作成時、オプションでキーに対する値がない場合に例外をスローするようにします。
  • [SPARK-46941] SizeBasedWindowFunction が含まれている場合、top-k 計算用のウィンドウ グループ制限ノードを挿入できません。
  • [SPARK-45433] timestamp が、指定された timestampFormat と一致しない場合の CSV/JSON スキーマ推論を修正します。
  • [SPARK-46930] Avro で Union 型フィールドのカスタムプレフィックスをサポートする機能を追加します。
  • [SPARK-46227] 14.3 へのバックポート。
  • [SPARK-46822] jdbc で jdbc 型を Catalyst 型にキャストする場合は、spark.sql.legacy.charVarcharAsString に従います。
  • オペレーティング システムのセキュリティを更新。

Databricks Runtime 13.3 LTS

「Databricks Runtime 13.3 LTS」をご覧ください。

• 2025 年 11 月 4 日
  • 更新された R ライブラリ:
    • 10.0.1 から 21.0.0 への矢印
  • オペレーティング システムのセキュリティを更新。

• 2025 年 10 月 21 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 10 月 7 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 9 月 24 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 9 月 9 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 8 月 26 日
  • 更新された Java ライブラリ:
    • io.delta.delta-sharing-spark_2.12 から 0.7.12 から 0.7.13
  • オペレーティング システムのセキュリティを更新。

• 2025 年 8 月 14 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 7 月 29 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 7 月 15 日

  • オペレーティング システムのセキュリティを更新。

• 2025 年 7 月 1 日

  • オペレーティング システムのセキュリティを更新。

• 2025 年 6 月 17 日
  • cloud_files_stateテーブル値関数 (TVF) を使用して、パイプライン間でストリーミング テーブルのファイル レベルの状態を読み取ることができないという制限を修正しました。
  • オペレーティング システムのセキュリティを更新。

• 2025 年 6 月 3 日
  • 更新された Python ライブラリ:
    • 3.4.8、37.0.1 から 37.0.1 への暗号化
    • platformdirs を 2.5.2、2.6.2 から 2.5.2 へ変更
    • pyparsing を 2.4.7、3.0.9 から 3.0.9 へ更新
    • pip 22.2.2 を追加しました
    • setuptools 63.4.1 を追加しました
    • tomli 2.0.1 を追加しました
    • wcwidth 0.2.5 を追加しました
    • ホイール 0.37.1 を追加しました
    • ディストリビューション 1.7.0 を削除しました
    • distro-info 1.1+ubuntu0.2 を削除しました
    • python-apt 2.4.0+ubuntu4 を削除しました
  • 更新された Java ライブラリ:
    • com.github.fommil.netlib.native_ref-java を 1.1、1.1 ネイティブから 1.1、1.1 へ更新
    • com.github.fommil.netlib.native_system-java を 1.1、1.1 ネイティブから 1.1、1.1 へ更新
    • com.github.fommil.netlib.netlib-native_ref-linux-x86_64 のバージョンを 1.1-natives から 1.1 に変更
    • com.github.fommil.netlib.netlib-native_system-linux-x86_64 を 1.1 ネイティブ から 1.1 へ更新
    • io.netty.netty-transport-native-epoll を 4.1.87.Final、4.1.87.Final-linux-aarch_64、4.1.87.Final-linux-x86_64 から 4.1.87.Final、4.1.87.Final、4.1.87.Final へ更新
    • io.netty.netty-transport-native-kqueue を 4.1.87.Final-osx-aarch_64、4.1.87.Final-osx-x86_64 から 4.1.87.Final、4.1.87.Final へ更新
    • org.apache.orc.orc-core を 1.8.4-shaded-protobuf から 1.8.4 に変更
    • org.apache.orc.orc-mapreduce を 1.8.4-shaded-protobuf から 1.8.4 に変更
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider を 1.6.1-linux-x86_64 から 1.6.1 に更新
  • [SPARK-52159][SQL] jdbc 言語のテーブル存在チェックを適切に処理する
  • オペレーティング システムのセキュリティを更新。

• 2025 年 5 月 20 日
  • 更新された Java ライブラリ:
    • io.delta.delta-sharing-spark_2.12 を 0.7.11 から 0.7.12 に更新
  • オペレーティング システムのセキュリティを更新。

• 2025 年 4 月 22 日
  • [動作の変更]バキューム操作では、他の操作と同様にライター プロトコル チェックが実行されるようになり、互換性のない古い DBR バージョンから実行すると、新しい機能を持つテーブルで予期しないクリーンアップが回避されるようになりました。
  • オペレーティング システムのセキュリティを更新。

• 2025 年 4 月 9 日
  • [SPARK-51624][SQL] GetStructField メタデータを CreateNamedStruct.dataType に伝達する
  • オペレーティング システムのセキュリティを更新。

• 2025 年 3 月 11 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 2 月 11 日
  • [SPARK-50492][SS] dropDuplicatesWithinWatermark の後にイベント時間列が削除されたときに java.util.NoSuchElementException を修正する
  • [SPARK-45915][SQL] PromoteStrings の Decimal(x, 0) を IntegralType と同じように扱う
  • オペレーティング システムのセキュリティを更新。

• 2024 年 12 月 10 日
  • オペレーティング システムのセキュリティを更新。
• 2024 年 11 月 26 日
  • [SPARK-49615] [ML] すべての ML 機能トランスフォーマー データセット スキーマ検証を "spark.sql.caseSensitive" 構成に準拠させます。
  • オペレーティング システムのセキュリティを更新。
• 2024 年 11 月 5 日
  • [SPARK-48843] BindParameters を使用して無限ループを防止する
  • [BACKPORT] [SPARK-49326][SS] Foreach シンクユーザー関数エラーのエラークラスを分類する
  • [SPARK-49905] ステートフル演算子に専用の ShuffleOrigin を使用して、AQE からシャッフルが変更されないようにする
  • オペレーティング システムのセキュリティを更新。
• 2024 年 10 月 22 日
  • [SPARK-48843] BindParameters を使用して無限ループを防止する
  • [BACKPORT] [SPARK-49326][SS] Foreach シンクユーザー関数エラーのエラークラスを分類する
  • [SPARK-49905] ステートフル演算子に専用の ShuffleOrigin を使用して、AQE からシャッフルが変更されないようにする
  • オペレーティング システムのセキュリティを更新。
• 2024 年 10 月 10 日
  • [SPARK-49743][SQL]GetArrayStructFields を排除するときに OptimizeCsvJsonExpr でスキーマ フィールドを変更しないでください
• 2024 年 9 月 25 日
  • [SPARK-46601] [CORE]handleStatusMessage のログ エラーを修正する
  • [SPARK-48719][SQL]最初のパラメーターが null の場合の RegrSlope と RegrIntercept の計算バグを修正しました
  • [SPARK-43242][CORE] シャッフルの破損診断中に「予期しないタイプの BlockId」をスローする問題を修正する
  • [SPARK-49000][SQL]RewriteDistinctAggregates を展開して、t が空のテーブルである "select count(distinct 1) from t" を修正しました
  • オペレーティング システムのセキュリティを更新。
• 2024 年 9 月 17 日
  • [SPARK-49526][CONNECT]ArtifactManager で Windows スタイルのパスをサポートする
  • [SPARK-48463][ML] Binarizer、Bucketizer、Vector Assembler、FeatureHasher、QuantizeDiscretizer、OnehotEncoder、StopWordsRemover、Imputer、Interactor でネストされた入力列をサポートするようにする
  • オペレーティング システムのセキュリティを更新。
• 2024 年 8 月 29 日
• 2024 年 8 月 14 日
  • [SPARK-49056][SQL] ErrorClassesJsonReader は null を正しく処理できません
  • [SPARK-49065][SQL] レガシ フォーマッタ/パーサーのリベースは、JVM 以外のデフォルト タイム ゾーンをサポートする必要があります
  • [SPARK-48597][SQL] 論理プランのテキスト表現に isStreaming プロパティのマーカーを導入する
• 2024 年 8 月 1 日
  • このリリースには、Spark Java インターフェイスの ColumnVector クラスと ColumnarArray クラスのバグ修正が含まれています。 この修正プログラムの前には、これらのクラスのいずれかのインスタンスに ArrayIndexOutOfBoundsException 値が含まれていると、null がスローされるか、正しくないデータが返される可能性がありました。
  • [SPARK-47202] [PYTHON] tzinfo で datetimes を壊す入力ミスを修正する
  • [SPARK-48896][SPARK-48909][SPARK-48883] バックポート Spark ML ライターの修正
  • [SPARK-48463] StringIndexer で入れ子になった入力列をサポートさせる
  • オペレーティング システムのセキュリティを更新。
• 2024 年 7 月 11 日
  • (動作変更) Delta テーブル ソースに対してキャッシュされた DataFrame は、ソース テーブルが上書きされたら無効化されるようになりました。 この変更は、Delta テーブルに対するすべての状態変更により、キャッシュされた結果が無効になったことを指します。 .checkpoint() を使用して DataFrame の有効期間全体にわたってテーブルの状態を永続化します。
  • このリリースには、Databricks コンテナー サービスで実行中に [Spark UI] の [環境] タブが正しく表示されない問題の修正が含まれています。
  • [SPARK-48383][SS] Kafka の startOffset オプションでパーティションのミスマッチに対してより良いエラーをスローする
  • [SPARK-48292][CORE] 取り消し: [SPARK-39195][SQL] Spark OutputCommitCoordinator はコミットされたファイルとタスクの状態が整合していない場合にステージを中止する必要がある
  • [SPARK-48503][SQL] 等価でない列に対して group-by がある場合に誤って許可されていた無効なスカラーサブクエリを修正する
  • [SPARK-48481][SQL][SS] OptimizeOneRowPlan をストリーミング Dataset に適用しない
  • [SPARK-48475][PYTHON] PySpark で _get_jvm_function in を最適化する
  • [SPARK-48273][SQL] PlanWithUnresolvedIdentifier の遅延書き換えを修正する
  • [SPARK-48445][SQL] コストが高い子要素を含む UDF をインライン化しない
  • オペレーティング システムのセキュリティを更新。
• 2024 年 6 月 17 日
  • [SPARK-48277] ErrorClassesJsonReader.getErrorMessage のエラー メッセージを改善する
  • オペレーティング システムのセキュリティを更新。
• 2024 年 5 月 21 日
  • (動作変更) dbutils.widgets.getAll()ために がサポートされるようになりました。
  • [SPARK-48105][SS] 状態ストアのアンロードとスナップショット処理の間の競合状態を修正する
  • [SPARK-47994][SQL] SQLServer で CASE WHEN 列フィルターがプッシュダウンされるバグを修正する
  • オペレーティング システムのセキュリティを更新。
• 2024 年 5 月 9 日
  • [SPARK-47956][SQL] 未解決の LCA リファレンスのサニティ チェックを実行する
  • [SPARK-46822][SQL] jdbc で jdbc 型を Catalyst 型にキャストする場合は、spark.sql.legacy.charVarcharAsString に従う
  • [SPARK-47895][SQL] グループ分け、をすべてべき等にする
  • [SPARK-48018][SS] KafkaException.couldNotReadOffsetRange をスローするときにパラメーター不足のエラーを引き起こす、null groupId を修正する
  • [SPARK-47973][CORE] SparkContext.stop() と SparkContext.assertNotStopped() 内で呼び出し元をログに記録する
  • オペレーティング システムのセキュリティを更新。
• 2024 年 4 月 25 日
  • [SPARK-44653][SQL] 単純でない DataFrame 共用体でキャッシュを破損させてはならない
  • 各種のバグ修正。
• 2024 年 4 月 11 日
  • [SPARK-47509][SQL] ラムダ関数と上位関数のサブクエリ式をブロックします
  • オペレーティング システムのセキュリティを更新。
• 2024 年 4 月 1 日
  • [SPARK-47385] オプション入力を使用してタプル エンコーダーを修正します
  • [SPARK-38708][SQL] Hive メタストア クライアントを Hive 3.1 用の 3.1.3 にアップグレードします
  • [SPARK-47200][SS] Foreach バッチシンクのユーザー関数エラーに対するエラークラス
  • [SPARK-47368][SQL] ParquetRowConverter の inferTimestampNTZ 構成チェックを削除します
  • [SPARK-44252][SS] 新しいエラー クラスを定義し、DFS からの状態の読み込みが失敗した場合に適用する
  • [SPARK-47135][SS] Kafka データ損失例外のエラー クラスを実装します
  • [SPARK-47300][SQL] quoteIfNeeded は数字で始まる識別子を引用符で囲む必要があります
  • [SPARK-47305][SQL] プランにバッチとストリーミングの両方がある場合に LocalRelation の isStreaming フラグに正しくタグを付けるために PruneFilters を修正します
  • [SPARK-47070] サブクエリの書き換え後の無効な集計を修正する
  • オペレーティング システムのセキュリティを更新。
• 2024 年 3 月 14 日
  • [SPARK-47145][SQL] V2 戦略の行データ ソース スキャン exec にテーブル識別子を渡します。
  • [SPARK-47167][SQL] JDBC 匿名関係の具象クラスを追加する
  • [SPARK-47176][SQL] ResolveAllExpressionsUpWithPruning ヘルパー関数がある
  • [SPARK-47044][SQL] JDBC 外部データソースに対して実行されたクエリを追加して出力を説明する
  • [SPARK-47125][SQL] Univocity が解析をトリガーしない場合は null を返す
  • オペレーティング システムのセキュリティを更新。
• 2024 年 2 月 29 日
  • MERGE コマンドでローカル コレクションをソースとして使用すると、操作メトリック numSourceRows が正しい行数の 2 倍になる問題を修正しました。
  • 定義された場所でスキーマを作成するには、ユーザーが ANY FILE に対する SELECT および MODIFY 権限を持っている必要があります。
  • オペレーティング システムのセキュリティを更新。
• 2024 年 2 月 8 日
  • Unity カタログの具体化されたビューに対する変更データ フィード (CDF) クエリはサポートされていません。また、Unity カタログの具体化されたビューで CDF クエリを実行しようとするとエラーが返されます。 Unity カタログ ストリーミング テーブルは、Databricks Runtime 14.1 以降の AUTO 以外の CDC テーブルに対する CDF クエリをサポートします。 Databricks Runtime 14.0 以前の Unity カタログのストリーミング テーブルでは、CDF クエリはサポートされていません。
  • [SPARK-46794] LogicalRDD 制約からサブクエリを削除します。
  • [SPARK-46933] JDBCRDD を使用するコネクタにクエリ実行時間メトリックを追加します。
  • [SPARK-45582] 出力モード ストリーミング集計内でコミットを呼び出した後にストア インスタンスが使用されないようにします。
  • [SPARK-46396] タイムスタンプ推論では例外を発生させてはならない。
  • [SPARK-46861] DAGScheduler でのデッドロックを回避します。
  • [SPARK-46941] SizeBasedWindowFunction が含まれている場合、top-k 計算用のウィンドウ グループ制限ノードを挿入できません。
  • オペレーティング システムのセキュリティを更新。
• 2024 年 1 月 31 日
  • [SPARK-46610] テーブル作成時、オプションでキーに対する値がない場合に例外をスローするようにします。
  • [SPARK-46383] TaskInfo.accumulables() の有効期間を短縮してドライバー ヒープの使用量を削減します。
  • [SPARK-46600] SqlConf と SqlApiConf の間の共有コードを SqlApiConfHelper に移動します。
  • [SPARK-46676] dropDuplicatesWithinWatermark はプランの正規化でエラーになってはなりません。
  • [SPARK-46763] 重複する属性での ReplaceDeduplicateWithAggregate のアサーション エラーを修正します。
  • オペレーティング システムのセキュリティを更新。
• 2024 年 1 月 17 日
  • ブロードキャスト結合の一部であるシャッフル中にメモリ不足エラーが発生した場合に、shuffle フラグを追加するように、Photon クエリによって返される Explain プランの causedBroadcastJoinBuildOOM=true ノードが更新されます。
  • TLSv1.3 経由で通信するときの待機時間の増加を回避するために、このメンテナンス リリースには JDK バグ JDK-8293562 を修正するための JDK 8 インストールへのパッチが含まれています。
  • [SPARK-46058] privateKeyPassword に別のフラグを追加します。
  • [SPARK-46173] 日付解析中の trimAll 呼び出しをスキップします。
  • [SPARK-46370] 列の既定値を変更した後にテーブルからクエリを実行するときのバグを修正します。
  • [SPARK-46370] 列の既定値を変更した後にテーブルからクエリを実行するときのバグを修正します。
  • [SPARK-46370] 列の既定値を変更した後にテーブルからクエリを実行するときのバグを修正します。
  • [SPARK-46609] PartitioningPreservingUnaryExecNode での指数関数的な爆発を回避します。
  • [SPARK-46132] RPC SSL の JKS キーのキー パスワードをサポートします。
  • [SPARK-46602] ビュー/テーブルが存在しない場合に、ビューの作成時に allowExisting を伝達します。
  • [SPARK-46249] バックグラウンド操作との競合を防ぐために、RocksDB メトリックを取得するためのインスタンス ロックが必要です。
  • [SPARK-46417] hive.getTable を呼び出し、throwException が false の場合は失敗しません。
  • [SPARK-46538]ALSModel.transform におけるあいまいな列参照の問題を修正します。
  • [SPARK-46478] SPARK-43049 を元に戻して、文字列に oracle varchar(255) を使用します。
  • [SPARK-46250] test_parity_listener をフレーク解除します。
  • [SPARK-46394]spark.sql.legacy.keepCommandOutputSchema が true に設定されている場合に、特殊文字を持つスキーマでの spark.catalog.listDatabases() の問題を修正します。
  • [SPARK-46056] Parquet のベクトル化された読み取り NPE を byteArrayDecimalType の既定値で修正します。
  • [SPARK-46145] spark.catalog.listTables は、テーブルまたはビューが見つからないときに例外をスローしません。
  • [SPARK-46466] ベクトル化された Parquet リーダーは、timestamp ntz のリベースを行わない。
• 2023 年 12 月 14 日
  • JDBC または ODBC クライアントからの getColumns 操作でエスケープされたアンダースコアが誤って処理され、ワイルドカードとして解釈される問題を修正しました。
  • [SPARK-45920] 序数によるグループはべき等である必要があります。
  • [SPARK-44582] SMJ がクリーンアップされた場合に、SMJ の反復子をスキップします。
  • [SPARK-45433] timestamp が、指定された timestampFormat と一致しない場合の CSV/JSON スキーマ推論を修正します。
  • [SPARK-45655] CollectMetrics の AggregateFunctions 内で非決定論的な式を許可します。
  • オペレーティング システムのセキュリティを更新。
• 2023 年 11 月 29 日
  • PyArrow RCE の脆弱性を修復するために、新しいパッケージ pyarrow-hotfix をインストールしました。
  • spark-snowflake コネクタは 2.12.0 にアップグレードされます。
  • [SPARK-44846]RemoveRedundantAggregates の後の複雑なグループ化式を削除しました。
  • [SPARK-45544] SSL サポートを TransportContext に統合しました。
  • [SPARK-45892] オプティマイザー プランの検証をリファクタリングして、validateSchemaOutput と validateExprIdUniqueness を分離します。
  • [SPARK-45730]ReloadingX509TrustManagerSuite の時間制約を改善しました。
  • [SPARK-45859]ml.functions の UDF オブジェクトを遅延させました。
  • オペレーティング システムのセキュリティを更新。
• 2023 年 11 月 10 日
  • Delta Lake ストリーミング クエリのパーティション フィルターは、使用率を向上させるためにレート制限の前にプッシュダウンされます。
  • Unity カタログ ストリーミング テーブルと具体化されたビューに対するデータ フィード クエリを変更し、エラー メッセージを表示しました。
  • [SPARK-45545]SparkTransportConf は作成時に SSLOptions を継承します。
  • [SPARK-45584]TakeOrderedAndProjectExec のサブクエリの実行エラーを修正しました。
  • [SPARK-45427] RPC SSL 設定を SSLOptions と SparkTransportConf に追加しました。
  • [SPARK-45541]SSLFactory を追加しました。
  • [SPARK-45430]FramelessOffsetWindowFunction は、IGNORE NULLS と offset > rowCount の場合に失敗しなくなりました。
  • [SPARK-45429] SSL RPC 通信用のヘルパー クラスを追加しました。
  • [SPARK-44219] 最適化の書き換えに関する規則ごとの検証を追加しました。
  • [SPARK-45543] 他のウィンドウ関数にランクに似た関数と同じウィンドウ フレームがない場合に、 InferWindowGroupLimit によって問題が発生する問題を修正しました。
  • オペレーティング システムのセキュリティを更新。
• 2023 年 10 月 23 日
  • [SPARK-45256] 初期容量よりも多い値を書き込むと DurationWriter が失敗する問題を修正しました。
  • [SPARK-45419] より新しいバージョンのファイル バージョン マップ エントリを削除して、異なる rocksdb sst インスタンスで rocksdb ファイルが再利用されないようにします。
  • [SPARK-45426]ReloadingX509TrustManager のサポートを追加しました。
  • その他の修正。
• 2023 年 10 月 13 日
  • Snowflake-jdbc 依存関係が 3.13.29 から 3.13.33 にアップグレードされました。
  • array_insert 関数では、負のインデックスは以前は 0 ベースでしたが、現在は、正と負のインデックスは 1 ベースです。 インデックス 1 の入力配列の最後に新しい要素を挿入するようになりました。 以前の動作を復元するには、spark.sql.legacy.negativeIndexInArrayInsert を true に設定します。
  • 自動ローダーを使用した CSV スキーマ推論中に ignoreCorruptFiles が有効になっている場合、破損したファイルが無視されない問題を修正しました。
  • "[SPARK-42946]" を元に戻します。
  • [SPARK-42205] タスクまたはステージ開始イベントの Accumulables ログを削除するように、JSON プロトコルを更新しました。
  • [SPARK-45178] ラッパーを使用するのではなく、サポートされていないソースを使って Trigger.AvailableNow の単一バッチを実行するようにフォールバックします。
  • [SPARK-45316] 新しいパラメーター ignoreCorruptFiles と ignoreMissingFiles を HadoopRDD と NewHadoopRDD に追加します。
  • [SPARK-44740] Artifacts のメタデータ値を修正しました。
  • [SPARK-45360] Spark セッション ビルダーの構成を SPARK_REMOTE から初期化しました。
  • [SPARK-44551] OSS と同期するようにコメントを編集しました。
  • [SPARK-45346] Parquet スキーマ推論では、スキーマをマージする際に、大文字と小文字が区別されるフラグが考慮されるようになりました。
  • [SPARK-44658]ShuffleStatus.getMapStatus は、None ではなく Some(null) を返すようになりました。
  • [SPARK-44840]array_insert() で負のインデックスを 1 ベースにしました。
• 2023 年 9 月 14 日
  • [SPARK-44873] Hive クライアントで入れ子になった列を含む alter view のサポートを追加しました。
  • [SPARK-44878] キャッシュ完了時に挿入例外が発生しないように、RocksDB 書き込みマネージャーの厳密な制限を無効にしました。
• 2023 年 8 月 30 日
  • dbutils cp コマンド (dbutils.fs.cp) は、より高速なコピー用に最適化されています。 この改善により、ファイル サイズに応じて、コピー操作の時間を最大 100 分の 1 に短縮することができます。 この機能は、Unity Catalog Volumes と DBFS マウントを含め、Databricks でアクセスできるすべてのクラウドとファイル システムで使用できます。
  • [SPARK-44455]SHOW CREATE TABLE 結果のバッククォートを含む識別子を引用符で囲みます。
  • [SPARK-44763] 間隔付きの二項演算で文字列が double として表示される問題を修正しました。
  • [SPARK-44871]percentile_disc の動作を修正しました。
  • [SPARK-44714] クエリに関する LCA 解決の制限を緩和します。
  • [SPARK-44818]taskThread の初期化前に発行された保留中のタスク割り込みの競合を修正しました。
  • [SPARK-44505] DSv2 のスキャンにおけるカラムサポートのためのオーバーライドを追加しました。
  • [SPARK-44479] 空の構造体型からの protobuf 変換を修正しました。
  • [SPARK-44718]ColumnVector メモリモード構成の既定値を OffHeapMemoryMode 構成値に一致させます。
  • [SPARK-42941] Python で StreamingQueryListener のサポートを追加しました。
  • [SPARK-44558] PySpark の Spark Connect ログ レベルをエクスポートします。
  • [SPARK-44464] 最初の列値として Null を持つ出力行に対する applyInPandasWithStatePythonRunner を修正しました。
  • [SPARK-44643] フィールドが空の行の場合の Row.__repr__ を修正しました。
  • オペレーティング システムのセキュリティを更新。

Databricks Runtime 12.2 LTS

「Databricks Runtime 12.2 LTS」を参照してください。

• 2025 年 11 月 4 日
  • 更新された R ライブラリ:
    • 10.0.0 から 21.0.0 への矢印
  • オペレーティング システムのセキュリティを更新。

• 2025 年 10 月 21 日
  • Python を 2.7.18 から 2.7.18.1 に更新しました
  • オペレーティング システムのセキュリティを更新。

• 2025 年 10 月 7 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 9 月 24 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 9 月 9 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 8 月 26 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 8 月 14 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 7 月 29 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 7 月 15 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 7 月 1 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 6 月 17 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 6 月 3 日
  • 更新された Python ライブラリ:
    • certifi を 2019.11.28、2021.10.8 から 2021.10.8 へ更新
    • chardet を 3.0.4、4.0.0 から 4.0.0 へ更新
    • idna のバージョンが 2.8、および 3.3 から 3.3 に移行
    • 2.22.0、2.27.1 から 2.27.1 までのリクエスト
    • six を 1.14.0、1.16.0 から 1.16.0 へ更新
    • urllib3 を 1.25.8、1.26.9 から 1.26.9 へ更新
    • pip 21.2.4 を追加しました
    • setuptools 61.2.0 を追加しました
    • tomli 1.2.2 を追加しました
    • wcwidth 0.2.5 を追加しました
    • ホイール 0.37.0 を追加しました
    • ディストリビューション 1.4.0 を削除しました
    • distro-info 0.23+ubuntu1.1 を削除しました
    • python-apt 2.0.1+ubuntu0.20.4.1 を削除しました
  • 更新された Java ライブラリ:
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider を 1.6.1-linux-x86_64 から 1.6.1 に更新
  • オペレーティング システムのセキュリティを更新。

• 2025 年 5 月 20 日
  • [SPARK-42655][SQL] あいまいな列参照エラーが正しくありません
  • オペレーティング システムのセキュリティを更新。

• 2025 年 4 月 22 日
  • [動作の変更]バキューム操作では、他の操作と同様にライター プロトコル チェックが実行されるようになり、互換性のない古い DBR バージョンから実行すると、新しい機能を持つテーブルで予期しないクリーンアップが回避されるようになりました。
  • オペレーティング システムのセキュリティを更新。

• 2025 年 4 月 9 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 3 月 11 日

  • オペレーティング システムのセキュリティを更新。

• 2024 年 12 月 10 日

  • オペレーティング システムのセキュリティを更新。

• 2024 年 11 月 26 日

  • 各種のバグ修正。

• 2024 年 10 月 10 日

  • [SPARK-49743][SQL]GetArrayStructFields を排除するときに OptimizeCsvJsonExpr でスキーマ フィールドを変更しないでください

• 2024 年 9 月 25 日

  • [SPARK-49000][SQL]RewriteDistinctAggregates を展開して、t が空のテーブルである "select count(distinct 1) from t" を修正しました
  • [SPARK-46601] [CORE]handleStatusMessage のログ エラーを修正する
  • 各種のバグ修正。

• 2024 年 9 月 17 日

  • オペレーティング システムのセキュリティを更新。

• 2024 年 8 月 29 日

  • 各種のバグ修正。

• 2024 年 8 月 14 日

  • [SPARK-48941][SPARK-48970] バックポート ML ライター/リーダーの修正
  • [SPARK-49065][SQL] レガシ フォーマッタ/パーサーのリベースは、JVM 以外のデフォルト タイム ゾーンをサポートする必要があります
  • [SPARK-49056][SQL] ErrorClassesJsonReader は null を正しく処理できません
  • [SPARK-48597][SQL] 論理プランのテキスト表現に isStreaming プロパティのマーカーを導入する
  • [SPARK-48463][ML] 入れ子になった入力列をサポートする StringIndexer を作成する
  • オペレーティング システムのセキュリティを更新。

• 2024 年 8 月 1 日

  • [SPARK-48896][SPARK-48909][SPARK-48883] バックポート Spark ML ライターの修正

• 2024 年 8 月 1 日

  • 必要なセキュリティ パッチを適用するため、Databricks Runtime 12.2 LTS の Python バージョンが 3.9.5 から 3.9.19 にアップグレードされます。

• 2024 年 7 月 11 日

  • (動作変更) Delta テーブル ソースに対してキャッシュされた DataFrame は、ソース テーブルが上書きされたら無効化されるようになりました。 この変更は、Delta テーブルに対するすべての状態変更により、キャッシュされた結果が無効になったことを指します。 .checkpoint() を使用して DataFrame の有効期間全体にわたってテーブルの状態を永続化します。
  • [SPARK-48481][SQL][SS] OptimizeOneRowPlan をストリーミング Dataset に適用しない
  • [SPARK-47070] サブクエリの書き換え後の無効な集計を修正する
  • [SPARK-42741][SQL] リテラルが null の場合、バイナリ比較でキャストのラップを解除しない
  • [SPARK-48445][SQL] コストが高い子要素を含む UDF をインライン化しない
  • [SPARK-48503][SQL] 等価でない列に対して group-by がある場合に誤って許可されていた無効なスカラーサブクエリを修正する
  • [SPARK-48383][SS] Kafka の startOffset オプションでパーティションのミスマッチに対してより良いエラーをスローする
  • オペレーティング システムのセキュリティを更新。

• 2024 年 6 月 17 日

  • [SPARK-48277] ErrorClassesJsonReader.getErrorMessage のエラー メッセージを改善する
  • 各種のバグ修正。

• 2024 年 5 月 21 日

  • [SPARK-48105][SS] 状態ストアのアンロードとスナップショット処理の間の競合状態を修正する
  • オペレーティング システムのセキュリティを更新。

• 2024 年 5 月 9 日

  • [SPARK-44251][SQL] 完全外部 USING 結合の結合キーに null 許容を正しく設定する
  • [SPARK-47973][CORE] SparkContext.stop() と SparkContext.assertNotStopped() 内で呼び出し元をログに記録する
  • [SPARK-47956][SQL] 未解決の LCA リファレンスのサニティ チェックを実行する
  • [SPARK-48018][SS] KafkaException.couldNotReadOffsetRange をスローするときにパラメーター不足のエラーを引き起こす、null groupId を修正する
  • オペレーティング システムのセキュリティを更新。

• 2024 年 4 月 25 日

  • オペレーティング システムのセキュリティを更新。

• 2024 年 4 月 11 日

  • オペレーティング システムのセキュリティを更新。

• 2024 年 4 月 1 日

  • [SPARK-47305][SQL] プランにバッチとストリーミングの両方がある場合に LocalRelation の isStreaming フラグに正しくタグを付けるために PruneFilters を修正します
  • [SPARK-44252][SS] 新しいエラー クラスを定義し、DFS からの状態の読み込みが失敗した場合に適用する
  • [SPARK-47135][SS] Kafka データ損失例外のエラー クラスを実装します
  • [SPARK-47200][SS] Foreach バッチシンクのユーザー関数エラーに対するエラークラス
  • オペレーティング システムのセキュリティを更新。

• 2024 年 3 月 14 日

  • [SPARK-47176][SQL] ResolveAllExpressionsUpWithPruning ヘルパー関数がある
  • "[SPARK-46861][CORE] DAGScheduler でのデッドロックを回避する" を取り消す
  • [SPARK-47125][SQL] Univocity が解析をトリガーしない場合は null を返す
  • [SPARK-47167][SQL] JDBC 匿名関係の具象クラスを追加する
  • オペレーティング システムのセキュリティを更新。

• 2024 年 2 月 29 日

  • MERGE コマンドでローカル コレクションをソースとして使用すると、操作メトリック numSourceRows が正しい行数の 2 倍になる問題を修正しました。
  • 定義された場所でスキーマを作成するには、ユーザーが ANY FILE に対する SELECT および MODIFY 権限を持っている必要があります。
  • [SPARK-45582][SS] 出力モード ストリーミング集計内でコミットを呼び出した後にストア インスタンスが使用されないようにする
  • オペレーティング システムのセキュリティを更新。

• 2024 年 2 月 13 日

  • [SPARK-46861] DAGScheduler でのデッドロックを回避します。
  • [SPARK-46794] LogicalRDD 制約からサブクエリを削除します。
  • オペレーティング システムのセキュリティを更新。

• 2024 年 1 月 31 日

  • [SPARK-46763] 重複する属性での ReplaceDeduplicateWithAggregate のアサーション エラーを修正します。
  • オペレーティング システムのセキュリティを更新。

• 2023 年 12 月 25 日

  • TLSv1.3 経由で通信するときの待機時間の増加を回避するために、このメンテナンス リリースには JDK バグ JDK-8293562 を修正するための JDK 8 インストールへのパッチが含まれています。
  • [SPARK-39440] イベント タイムラインを無効にする構成を追加します。
  • [SPARK-46132] RPC SSL の JKS キーのキー パスワードをサポートします。
  • [SPARK-46394]spark.sql.legacy.keepCommandOutputSchema が true に設定されている場合に、特殊文字を持つスキーマでの spark.catalog.listDatabases() の問題を修正します。
  • [SPARK-46417] hive.getTable を呼び出し、throwException が false の場合は失敗しません。
  • [SPARK-43067] Kafka コネクタのエラー クラス リソース ファイルの場所を修正します。
  • [SPARK-46249] バックグラウンド操作との競合を防ぐために、RocksDB メトリックを取得するためのインスタンス ロックが必要です。
  • [SPARK-46602] ビュー/テーブルが存在しない場合に、ビューの作成時に allowExisting を伝達します。
  • [SPARK-46058] privateKeyPassword に別のフラグを追加します。
  • [SPARK-46145] spark.catalog.listTables は、テーブルまたはビューが見つからないときに例外をスローしません。
  • [SPARK-46538]ALSModel.transform におけるあいまいな列参照の問題を修正します。
  • [SPARK-42852] EquivalentExpressions からの NamedLambdaVariable 関連の変更を元に戻します。

• 2023 年 12 月 14 日

  • JDBC または ODBC クライアントからの getColumns 操作でエスケープされたアンダースコアが誤って処理され、ワイルドカードとして解釈される問題を修正しました。
  • [SPARK-44582] SMJ がクリーンアップされた場合に、SMJ の反復子をスキップします。
  • [SPARK-45920] 序数によるグループはべき等である必要があります。
  • [SPARK-45655] CollectMetrics の AggregateFunctions 内で非決定論的な式を許可します。
  • オペレーティング システムのセキュリティを更新。

• 2023 年 11 月 29 日

  • PyArrow RCE の脆弱性を修復するために、新しいパッケージ pyarrow-hotfix をインストールしました。
  • JDBC または ODBC クライアントからの getColumns 操作でエスケープされたアンダースコアがワイルドカードとして誤って解釈される問題を修正しました。
  • [SPARK-42205]Stage と Task の開始イベントの蓄積されたログ記録を削除しました。
  • [SPARK-44846]RemoveRedundantAggregates の後の複雑なグループ化式を削除しました。
  • [SPARK-43718]USING 結合でのキーの NULL 値の許容を修正しました。
  • [SPARK-45544] SSL サポートを TransportContext に統合しました。
  • [SPARK-43973] 構造化ストリーミング UI で、失敗したクエリが正しく表示されるようになりました。
  • [SPARK-45730]ReloadingX509TrustManagerSuite の時間制約を改善しました。
  • [SPARK-45859]ml.functions の UDF オブジェクトを遅延させました。
  • オペレーティング システムのセキュリティを更新。

• 2023 年 11 月 14 日

  • Delta Lake ストリーミング クエリのパーティション フィルターは、使用率を向上させるためにレート制限の前にプッシュダウンされます。
  • [SPARK-45545]SparkTransportConf は作成時に SSLOptions を継承します。
  • [SPARK-45427] RPC SSL 設定を SSLOptions と SparkTransportConf に追加しました。
  • [SPARK-45584]TakeOrderedAndProjectExec のサブクエリの実行エラーを修正しました。
  • [SPARK-45541]SSLFactory を追加しました。
  • [SPARK-45430]FramelessOffsetWindowFunction は、IGNORE NULLS と offset > rowCount の場合に失敗しなくなりました。
  • [SPARK-45429] SSL RPC 通信用のヘルパー クラスを追加しました。
  • オペレーティング システムのセキュリティを更新。

• 2023 年 10 月 24 日

  • [SPARK-45426]ReloadingX509TrustManager のサポートを追加しました。
  • その他の修正。

• 2023 年 10 月 13 日

  • Snowflake-jdbc 依存関係が 3.13.29 から 3.13.33 にアップグレードされました。
  • [SPARK-42553] interval の後に少なくとも 1 つの時間単位を確保します。
  • [SPARK-45346] Parquet スキーマ推論は、スキーマをマージする際に、ケースセンシティブフラグに対応しています。
  • [SPARK-45178] ラッパーを使用するのではなく、サポートされていないソースを使って Trigger.AvailableNow の単一バッチを実行するようにフォールバックします。
  • [SPARK-45084] 正確で適切なシャッフル パーティション番号を使用するStateOperatorProgress。

• 2023 年 9 月 12 日

  • [SPARK-44873] Hive クライアントで入れ子になった列を含む alter view のサポートを追加しました。
  • [SPARK-44718]ColumnVector メモリモード構成の既定値を OffHeapMemoryMode 構成値に一致させます。
  • [SPARK-43799] Pyspark Protobuf API に記述子バイナリ オプションを追加しました。
  • その他の修正。

• 2023 年 8 月 30 日

  • [SPARK-44485]TreeNode.generateTreeString を最適化しました。
  • [SPARK-44818]taskThread の初期化前に発行された保留中のタスク割り込みの競合を修正しました。
  • [SPARK-44871][11.3-13.0] percentile_disc の動作を修正しました。
  • [SPARK-44714] クエリに関する LCA 解決の制限を緩和しました。
  • オペレーティング システムのセキュリティを更新。

• 2023 年 8 月 15 日

  • [SPARK-44504] メンテナンス タスクで、停止エラー時に読み込まれたプロバイダーがクリーンアップされます。
  • [SPARK-44464] 最初の列値として applyInPandasWithStatePythonRunner を持つ出力行に対する Null を修正しました。
  • オペレーティング システムのセキュリティを更新。

• 2023 年 7 月 29 日

  • 他の外部またはマネージド ストレージの場所と競合するストレージの場所のパスを呼び出すと、dbutils.fs.ls() が INVALID_PARAMETER_VALUE.LOCATION_OVERLAP を返す問題を修正しました。
  • [SPARK-44199]CacheManager は、fileIndex を不必要に更新しなくなりました。
  • オペレーティング システムのセキュリティを更新。

• 2023 年 7 月 24 日

  • [SPARK-44337]Any.getDefaultInstance に設定されたフィールドで解析エラーが発生する問題を修正しました。
  • [SPARK-44136]StateManager のドライバーではなく Executor で FlatMapGroupsWithStateExec が具体化される問題を修正しました。
  • オペレーティング システムのセキュリティを更新。

• 2023 年 6 月 23 日

  • オペレーティング システムのセキュリティを更新。

• 2023 年 6 月 15 日

  • approx_count_distinct が Photon に対応しました。
  • snowflake-jdbc ライブラリはセキュリティの問題に対処するために 3.13.29 にアップグレードされます。
  • [SPARK-43779]ParseToDate により、メイン スレッドに EvalMode が読み込まれるようになりました。
  • [SPARK-43156][SPARK-43098]decorrelateInnerQuery を無効にしてスカラー サブクエリ数のエラー テストを拡張しました。
  • オペレーティング システムのセキュリティを更新。

• 2023 年 6 月 2 日

  • failOnUnknownFields モードの JSON パーサーは、DROPMALFORMED モードでレコードを削除し、FAILFAST モードで直接失敗します。
  • SHALLOW CLONE Apache Iceberg と Apache Parquet を使用して、増分更新のパフォーマンスを向上させます。
  • 指定されたスキーマに推論されたパーティションが含まれていなかったため、異なるソース ファイル形式に一貫性がなかった自動ローダーの問題を修正しました。 この問題により、推論されたパーティション スキーマに列がないファイルの読み取り時に予期しない失敗が発生していた可能性があります。
  • [SPARK-43404] ID の不一致エラーを回避するために、同じバージョンの RocksDB 状態ストアの sst ファイルの再利用をスキップします。
  • [SPARK-43413][11.3-13.0] IN サブクエリの ListQuery NULL 値の許容を修正しました。
  • [SPARK-43522] 配列のインデックスを含む構造体列名の作成の問題を修正しました。
  • [SPARK-43541] 式と不足している列の解決において、すべての Project タグを伝達します。
  • [SPARK-43527] PySpark の catalog.listCatalogs を修正しました。
  • [SPARK-43123] 内部フィールド メタデータがカタログにリークしなくなりました。
  • [SPARK-43340] イベント ログにスタック トレース フィールドが見つからない問題を修正しました。
  • [SPARK-42444]DataFrame.drop で、重複する列が正しく処理されるようになりました。
  • [SPARK-42937]PlanSubqueries で InSubqueryExec#shouldBroadcast が true に設定されるようになりました。
  • [SPARK-43286] ランダムな IV を生成するように aes_encrypt の CBC モードを更新しました。
  • [SPARK-43378]deserializeFromChunkedBuffer 内のストリーム オブジェクトを適切に閉じます。

• 2023 年 5 月 17 日

  • バッチ サイズを動的に調整することで、非常に構造化されたファイルをスキャンするときに、Parquet スキャンが OOM に対して堅牢になりました。 バッチ サイズを大幅に小さくするためにファイル メタデータが分析され、最終的なセーフティ ネットとしてタスクの再試行時に再度低下します。
  • Avro ファイルが、failOnUnknownFields オプションだけを使用するか、failOnNewColumns スキーマ展開モードで自動ローダーを使用して読み取られた場合、異なるデータ型の列は、ファイルを読み取ることができないというエラーがスローされる代わりに、null として読み取られます。 これらの読み取りは失敗し、ユーザーは rescuedDataColumn オプションを使用することが推奨されます。
  • 自動ローダーで次の処理を行うようになりました。
  • • Integer、Short、Byte のデータ型のいずれかが指定されている場合は、型が正しく読み取られ、復旧されなくなりましたが、Avro ファイルでは他の 2 つの型のいずれかが提案されます。
  • • 日付型またはタイムスタンプ型として interval 型を読み取らないようにし、破損した日付を取得しないようにします。
  • • 精度が低い Decimal 型を読み取らないようにします。
  • [SPARK-43172] Spark Connect クライアントからホストとトークンを公開します。
  • [SPARK-43293]__qualified_access_only は通常の列では無視されます。
  • [SPARK-43098] スカラー サブクエリが句でグループ化されている場合の正確性の COUNT バグを修正しました。
  • [SPARK-43085] マルチパート テーブル名の列をDEFAULTに割り当てるサポート。
  • [SPARK-43190]ListQuery.childOutput がセカンダリ出力と一致するようになりました。
  • [SPARK-43192] ユーザー エージェントの文字セット検証を削除しました。
  • オペレーティング システムのセキュリティを更新。

• 2023 年 4 月 25 日

  • Parquet ファイルが、failOnUnknownFields オプションだけを使用するか、failOnNewColumns スキーマ展開モードで自動ローダーを使用して読み取られた場合、異なるデータ型の列は、ファイルを読み取ることができないというエラーがスローされる代わりに、null として読み取られます。 これらの読み取りは失敗し、ユーザーは rescuedDataColumn オプションを使用することが推奨されます。
  • Integer、Short、Byte のデータ型のいずれかが指定されている場合、自動ローダーで型が正しく読み取られるようになり、今後レスキューは発生しません。 Parquet ファイルでは、他の 2 つの型のいずれかが提案されます。 復旧されたデータ列が以前に有効になっていた場合、データ型の不一致により、列は読み取り可能であっても保存されます。
  • [SPARK-43009]sql() 定数でパラメーター化された Any
  • [SPARK-42406] フィールドを削除して Protobuf 再帰フィールドを終了する。
  • [SPARK-43038]aes_encrypt()/aes_decrypt() によって CBC モードをサポートする
  • [SPARK-42971] ワーカーで workdir イベントが処理されるときに appDirs が null の場合、WorkDirCleanup の出力に変更する
  • [SPARK-43018] タイムスタンプ リテラルを含む INSERT コマンドのバグを修正
  • オペレーティング システムのセキュリティを更新。

• 2023 年 4 月 11 日

  • SYNC コマンドの従来のデータ ソース形式をサポートします。
  • リポジトリの外部にあるノートブックの %autoreload 動作の問題を修正しました。
  • 入れ子になった JSON オブジェクトのスキーマで新しい列が検出されると、自動ローダー スキーマの展開が無限の失敗ループに入る可能性がある問題を修正しました。
  • [SPARK-42928]resolvePersistentFunction を同期させました。
  • [SPARK-42936] 句をその子集計で直接解決できる場合の LCan 問題を修正しました。.
  • [SPARK-42967] ステージが取り消された後にタスクが開始されたときの SparkListenerTaskStart.stageAttemptId を修正しました。
  • オペレーティング システムのセキュリティを更新。

• 2023 年 3 月 29 日

  • Databricks SQL では、テーブルの作成時またはその後のいずれかで、Delta Lake テーブルの列の既定値を指定することがサポートされるようになりました。 後続の INSERT、 UPDATE、 DELETE、および MERGE コマンドは、明示的な DEFAULT キーワードを使用して、任意の列の既定値を参照できます。 さらに、INSERT 割り当てに、ターゲット テーブルよりも少ない列のリストがある場合、残りの列について、対応する列の既定値が置き換えられます (または、既定値が指定されていない場合は NULL)。

    例えば次が挙げられます。

    CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
    INSERT INTO t VALUES (0, DEFAULT);
    INSERT INTO t VALUES (1, DEFAULT);
    SELECT first, second FROM t;
    > 0, 2023-03-28
    1, 2023-03-28z
    

  • 自動ローダーでは、高速で実行される自動ローダー ストリームに対してチェックポイントを定期的にクリーンアップできることを確認するために、Trigger.AvailableNow ストリーム用に少なくとも 1 つの同期 RocksDB ログクリーンを開始するようになりました。 これにより、一部のストリームがシャットダウンされるまでに時間がかかる場合がありますが、ストレージ コストが節約され、今後の実行で自動ローダーのエクスペリエンスが向上します。

  • Delta テーブルを変更して、DeltaTable.addFeatureSupport(feature_name) を使用してテーブル機能のサポートを追加できるようになりました。

  • [SPARK-42794] 構造化ストリーミングの RocksDB 状態ストアを取得するための lockAcquireTimeoutMs を 2 分に増やす

  • [SPARK-42521] ターゲット テーブルよりも少ない列のユーザー指定リストを使用して、INSERT に NULL 値を追加する

  • [SPARK-42702][SPARK-42623] サブクエリと CTE でパラメーター化されたクエリをサポート

  • [SPARK-42668] HDFSStateStoreProvider 停止で圧縮ストリームを閉じようとしているときに例外をキャッチする

  • [SPARK-42403] JsonProtocol で null JSON 文字列を処理する必要がある

• 2023 年 3 月 8 日

  • "構成の初期化エラー" というエラー メッセージが改善され、顧客に多くのコンテキストが提供されます。
  • table プロパティを使用して Delta テーブルに機能を追加するための用語の変更があります。 推奨される構文は、'delta.feature.featureName'='supported' ではなく 'delta.feature.featureName'='enabled' になりました。 下位互換性のために、'delta.feature.featureName'='enabled' を使用しても引き続き動作し、今後も引き続き動作します。
  • このリリース以降では、既定のリーダーとライターのバージョンおよび既定でサポートされているテーブル機能を含む、プロトコル関連の Spark 構成を無視するために、追加のテーブル プロパティ delta.ignoreProtocolDefaults でテーブルを作成または置換できます。
  • [SPARK-42070] Mask 関数の引数の既定値を -1 から NULL に変更する
  • [SPARK-41793] 重要な 10 進数における範囲句で定義されたウィンドウ フレームの結果が正しくない
  • [SPARK-42484] UnsafeRowUtils のエラー メッセージを改善
  • [SPARK-42516] ビューの作成時にセッション タイム ゾーン構成を常にキャプチャする
  • [SPARK-42635] TimestampAdd 式を修正します。
  • [SPARK-42622] 値の置換を無効にしました
  • [SPARK-42534] DB2Dialect Limit 句を修正する
  • [SPARK-42121] 組み込みのテーブル値関数 posexplode、posexplode_outer、json_tuple、stack を追加する
  • [SPARK-42045] ANSI SQL モード: Round/Bround は、tiny/small/significant の整数オーバーフローでエラーを返す必要がある
  • オペレーティング システムのセキュリティを更新。

Databricks Runtime 9.1 LTS

「Databricks Runtime 9.1 LTS」を参照してください。

• 2025 年 4 月 9 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 3 月 11 日
  • オペレーティング システムのセキュリティを更新。

• 2025 年 2 月 11 日
  • オペレーティング システムのセキュリティを更新。

• 2024 年 12 月 10 日
  • オペレーティング システムのセキュリティを更新。
• 2024 年 11 月 26 日
  • オペレーティング システムのセキュリティを更新。
• 2024 年 11 月 5 日
  • オペレーティング システムのセキュリティを更新。
• 2024 年 10 月 22 日
  • オペレーティング システムのセキュリティを更新。
• 2024 年 10 月 10 日
  • オペレーティング システムのセキュリティを更新。
• 2024 年 9 月 25 日
  • [SPARK-49000][SQL]RewriteDistinctAggregates を展開して、t が空のテーブルである "select count(distinct 1) from t" を修正しました
  • オペレーティング システムのセキュリティを更新。
• 2024 年 9 月 6 日
  • オペレーティング システムのセキュリティを更新。
• 2024 年 8 月 29 日
  • [SPARK-49065][SQL] レガシ フォーマッタ/パーサーのリベースは、JVM 以外のデフォルト タイム ゾーンをサポートする必要があります
• 2024 年 8 月 14 日
• 2024 年 8 月 1 日
  • オペレーティング システムのセキュリティを更新。
• 2024 年 7 月 11 日
  • オペレーティング システムのセキュリティを更新。
• 2024 年 6 月 17 日
  • オペレーティング システムのセキュリティを更新。
• 2024 年 5 月 21 日
  • [SPARK-48105][SS] 状態ストアのアンロードとスナップショット処理の間の競合状態を修正する
  • オペレーティング システムのセキュリティを更新。
• 2024 年 5 月 9 日
  • [SPARK-47973][CORE] SparkContext.stop() と SparkContext.assertNotStopped() 内で呼び出し元をログに記録する
  • [SPARK-44251][SQL] 完全外部 USING 結合の結合キーに null 許容を正しく設定する
  • オペレーティング システムのセキュリティを更新。
• 2024 年 4 月 25 日
  • 各種のバグ修正。
• 2024 年 4 月 11 日
  • オペレーティング システムのセキュリティを更新。
• 2024 年 4 月 1 日
  • "[SPARK-46861][CORE] DAGScheduler でのデッドロックを回避する" を取り消す
  • オペレーティング システムのセキュリティを更新。
• 2024 年 3 月 14 日
  • オペレーティング システムのセキュリティを更新。
• 2024 年 2 月 29 日
  • MERGE コマンドでローカル コレクションをソースとして使用すると、操作メトリック numSourceRows が正しい行数の 2 倍になる問題を修正しました。
  • オペレーティング システムのセキュリティを更新。
• 2024 年 2 月 13 日
  • [SPARK-46861] DAGScheduler でのデッドロックを回避します。
  • オペレーティング システムのセキュリティを更新。
• 2024 年 1 月 31 日
  • オペレーティング システムのセキュリティを更新。
• 2023 年 12 月 25 日
  • TLSv1.3 経由で通信するときの待機時間の増加を回避するために、このメンテナンス リリースには JDK バグ JDK-8293562 を修正するための JDK 8 インストールへのパッチが含まれています。
  • [SPARK-46058] privateKeyPassword に別のフラグを追加します。
  • [SPARK-39440] イベント タイムラインを無効にする構成を追加します。
  • [SPARK-46132] RPC SSL の JKS キーのキー パスワードをサポートします。
• 2023 年 12 月 14 日
  • オペレーティング システムのセキュリティを更新。
• 2023 年 11 月 29 日
  • PyArrow RCE の脆弱性を修復するために、新しいパッケージ pyarrow-hotfix をインストールしました。
  • [SPARK-45859]ml.functions の UDF オブジェクトを遅延させました。
  • [SPARK-45544] SSL サポートを TransportContext に統合しました。
  • [SPARK-45730]ReloadingX509TrustManagerSuite の時間制約を改善しました。
  • オペレーティング システムのセキュリティを更新。
• 2023 年 11 月 14 日
  • [SPARK-45545]SparkTransportConf は作成時に SSLOptions を継承します。
  • [SPARK-45429] SSL RPC 通信用のヘルパー クラスを追加しました。
  • [SPARK-45427] RPC SSL 設定を SSLOptions と SparkTransportConf に追加しました。
  • [SPARK-45584]TakeOrderedAndProjectExec のサブクエリの実行エラーを修正しました。
  • [SPARK-45541]SSLFactory を追加しました。
  • [SPARK-42205] ステージおよびタスクの開始イベントの蓄積されたログ記録を削除しました。
  • オペレーティング システムのセキュリティを更新。
• 2023 年 10 月 24 日
  • [SPARK-45426]ReloadingX509TrustManager のサポートを追加しました。
  • オペレーティング システムのセキュリティを更新。
• 2023 年 10 月 13 日
  • オペレーティング システムのセキュリティを更新。
• 2023 年 9 月 10 日
  • その他の修正。
• 2023 年 8 月 30 日
  • オペレーティング システムのセキュリティを更新。
• 2023 年 8 月 15 日
  • オペレーティング システムのセキュリティを更新。
• 2023 年 6 月 23 日
  • snowflake-jdbc ライブラリはセキュリティの問題に対処するために 3.13.29 にアップグレードされます。
  • オペレーティング システムのセキュリティを更新。
• 2023 年 6 月 15 日
  • [SPARK-43098] スカラー サブクエリに group by 句がある場合の COUNT の正確性のバグを修正します。
  • [SPARK-43156][SPARK-43098]decorrelateInnerQuery を無効にしてスカラー サブクエリ数のバグ テストを拡張します。
  • [SPARK-40862] RewriteCorrelatedScalarSubquery で集計されていないサブクエリをサポートします。
  • オペレーティング システムのセキュリティを更新。
• 2023 年 6 月 2 日
  • failOnUnknownFields モードの JSON パーサーは、DROPMALFORMED モードでレコードを削除し、FAILFAST モードで直接失敗します。
  • UnknownFieldException を防ぐために JSON で復旧されたデータ解析の問題を修正しました。
  • 指定されたスキーマに推論されたパーティションが含まれていなかったため、異なるソース ファイル形式に一貫性がなかった自動ローダーの問題を修正しました。 この問題により、推論されたパーティション スキーマに列がないファイルの読み取り時に予期しない失敗が発生していた可能性があります。
  • [SPARK-37520]startswith() および endswith() 文字列関数を追加する
  • [SPARK-43413]IN サブクエリの ListQuery NULL 値の許容を修正しました。
  • オペレーティング システムのセキュリティを更新。
• 2023 年 5 月 17 日
  • オペレーティング システムのセキュリティを更新。
• 2023 年 4 月 25 日
  • オペレーティング システムのセキュリティを更新。
• 2023 年 4 月 11 日
  • 入れ子になった JSON オブジェクトのスキーマで新しい列が検出されると、自動ローダー スキーマの展開が無限の失敗ループに入る可能性がある問題を修正しました。
  • [SPARK-42967] ステージが取り消された後にタスクが開始されたときの SparkListenerTaskStart.stageAttemptId を修正します。
• 2023 年 3 月 29 日
  • オペレーティング システムのセキュリティを更新。
• 2023 年 3 月 14 日
  • [SPARK-42484]UnsafeRowUtils のエラー メッセージを改善しました。
  • その他の修正。
• 2023 年 2 月 28 日
  • ユーザーは Databricks Runtime 9.1 LTS 以降を使用して、Reader バージョン 3 と Writer バージョン 7 を必要とする特定の Delta テーブルの読み取りと書き込みができるようになりました。 成功するには、テーブルのプロトコルに記載されているテーブル機能が、Databricks Runtime の現在のバージョンでサポートされている必要があります。
  • オペレーティング システムのセキュリティを更新。
• 2023 年 2 月 16 日
  • オペレーティング システムのセキュリティを更新。
• 2023 年 1 月 31 日
  • JDBC テーブルのテーブルの種類が既定では EXTERNAL になりました。
• 2023 年 1 月 18 日
  • オペレーティング システムのセキュリティを更新。
• 2022 年 11 月 29 日
  • すべての列が文字列として残され (cloudFiles.inferColumnTypes が設定されていないか、false に設定されている)、JSON に入れ子になったオブジェクトが含まれている場合の、自動ローダーでの JSON 解析の問題を修正しました。
  • オペレーティング システムのセキュリティを更新。
• 2022 年 11 月 15 日
  • Apache commons-text を 1.10.0 にアップグレードしました。
  • オペレーティング システムのセキュリティを更新。
  • その他の修正。
• 2022 年 11 月 1 日
  • Delta テーブルに _change_type という名前のユーザー定義列があるが、そのテーブルで変更データ フィードが無効になっている場合、その列のデータが MERGE の実行時に NULL 値で誤って入力される問題を修正しました。
  • allowOverwrites が有効になっている場合に、同じマイクロバッチでファイルを複製できる自動ローダーの問題を修正しました
  • [SPARK-40596] ExecutorDecommission に ExecutorDecommissionInfo のメッセージを設定する
  • オペレーティング システムのセキュリティを更新。
• 2022 年 10 月 18 日
  • オペレーティング システムのセキュリティを更新。
• 2022 年 10 月 5 日
  • その他の修正。
  • オペレーティング システムのセキュリティを更新。
• 2022 年 9 月 22 日
  • ユーザーは spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true") を設定して、ADLS 上の自動ローダーの組み込みリストを再度有効にすることができます。 組み込みリストは、以前はパフォーマンスの問題のために無効にされていましたが、顧客のストレージ コストの増加につながっている可能性があります。
  • [SPARK-40315] ArrayBasedMapData のリテラルに hashCode() を追加する
  • [SPARK-40089] 一部の Decimal 型の並べ替えを修正する
  • [SPARK-39887] RemoveRedundantAliases は、プロジェクション ノードの出力を一意にするエイリアスを保持する必要がある
• 2022 年 9 月 6 日
  • [SPARK-40235] Executor.updateDependencies() で同期ではなく割り込み可能なロックを使用する
  • [SPARK-35542] 修正: パラメーター splitsArray、inputCols、outputCols を指定して複数の列に対して作成された Bucketizer を保存後に読み込めない
  • [SPARK-40079] 空の入力ケースに対する Imputer inputCols 検証を追加
• 2022 年 8 月 24 日
  • [SPARK-39666] UnsafeProjection.create を使用して ExpressionEncoder で spark.sql.codegen.factoryMode を考慮する
  • [SPARK-39962] グループ属性が空の場合にプロジェクションを適用する
  • オペレーティング システムのセキュリティを更新。
• 2022 年 8 月 9 日
  • オペレーティング システムのセキュリティを更新。
• 2022 年 7 月 27 日
  • ソースが決定論的でない場合は、Delta MERGE 操作の結果を一貫性のあるものにします。
  • [SPARK-39689] CSV データ ソースでの 2 文字の lineSep のサポート
  • [SPARK-39575]ByteBuffer#rewind で ByteBuffer#get の後に AvroDeserializer を追加しました。
  • [SPARK-37392] カタリスト オプティマイザーのパフォーマンス エラーを修正しました。
  • オペレーティング システムのセキュリティを更新。
• 2022 年 7 月 13 日
  • [SPARK-39419]ArraySort で、比較子が null を返すときに例外がスローされます。
  • Azure でのディレクトリ一覧に対する自動ローダーによる組み込みのクラウド API の使用を無効にしました。
  • オペレーティング システムのセキュリティを更新。
• 2022 年 7 月 5 日
  • オペレーティング システムのセキュリティを更新。
  • その他の修正。
• 2022 年 6 月 15 日
  • [SPARK-39283]TaskMemoryManager と UnsafeExternalSorter.SpillableIterator の間のデッドロックを修正します。
• 2022 年 6 月 2 日
  • [SPARK-34554]copy() で ColumnarMap メソッドを実装します。
  • オペレーティング システムのセキュリティを更新。
• 2022 年 5 月 18 日
  • 自動ローダーで組み込みメモリ リークが発生する可能性がある問題を修正しました。
  • AWS SDK のバージョンを 1.11.655 から 1.11.678 にアップグレードします。
  • [SPARK-38918] 入れ子になった列の排除で、現在のリレーションシップに属していない属性を除外する必要がある
  • [SPARK-39084]df.rdd.isEmpty() を使用してタスクの完了時に反復子を停止して TaskContext を修正する
  • オペレーティング システムのセキュリティを更新。
• 2022 年 4 月 19 日
  • オペレーティング システムのセキュリティを更新。
  • その他の修正。
• 2022 年 4 月 6 日
  • [SPARK-38631] Java ベースの実装を使用して、Utils.unpack での tar の展開解除を行います。
  • オペレーティング システムのセキュリティを更新。
• 2022 年 3 月 22 日
  • テーブル アクセス制御または資格情報パススルーをユーザーのホーム ディレクトリに対して有効にして、高コンカレンシー クラスター上のノートブックの現在の作業ディレクトリを変更しました。 以前は、アクティブ ディレクトリは /databricks/driver でした。
  • [SPARK-38437] データソースからの datetime の厳密ではないシリアル化
  • [SPARK-38180] 相関等価述語で安全なアップキャスト式を許可する
  • [SPARK-38155] サポートされていない述語を持つ lateral サブクエリの個別の集計を禁止する
  • [SPARK-27442] Parquet でのデータの読み取りまたは書き込み時のチェック フィールドを削除しました。
• 2022 年 3 月 14 日
  • [SPARK-38236] テーブルの作成/変更時に指定される絶対ファイル パスが相対パスとして扱われる
  • [SPARK-34069] ローカル プロパティ SPARK_JOB_INTERRUPT_ON_CANCEL が true に設定されている場合、タスク スレッドを中断します。
• 2022 年 2 月 23 日
  • [SPARK-37859] Spark 3.1 を使用して JDBC で作成された SQL テーブルを Spark 3.2 で読み取れません。
• 2022 年 2 月 8 日
  • [SPARK-27442] Parquet でのデータの読み取りまたは書き込み時のチェック フィールドを削除しました。
  • オペレーティング システムのセキュリティを更新。
• 2022 年 2 月 1 日
  • オペレーティング システムのセキュリティを更新。
• 2022 年 1 月 26 日
  • 特定のまれな条件下で、Delta テーブルの同時実行トランザクションがシリアル化できない順序でコミットされる可能性がある問題を修正しました。
  • ANSI SQL 言語が有効になっていると OPTIMIZE コマンドが失敗する可能性がある問題を修正しました。
• 2022 年 1 月 19 日
  • 軽微な修正とセキュリティの強化。
  • オペレーティング システムのセキュリティを更新。
• 2021 年 11 月 4 日
  • ArrayIndexOutOfBoundsException で構造化ストリーミング ストリームが失敗する可能性がある問題を修正しました。
  • java.io.IOException: No FileSystem for scheme のような IOException を伴うクエリエラーが発生する可能性のある競合状態や、sparkContext.hadoopConfiguration に対する変更がクエリに反映されなくなる可能性のある競合状態を修正。
  • Delta Sharing 用の Apache Spark コネクタを 0.2.0 にアップグレード。
• 2021 年 10 月 20 日
  • BigQuery コネクタを 0.18.1 から 0.22.2 にアップグレード。 これにより、BigNumeric 型のサポートが追加されます。