Databricks Runtime 16.2 (EoS)

次のリリース ノートでは、Apache Spark 3.5.2 を搭載した Databricks Runtime 16.2 に関する情報を提供します。

Databricks は、2025 年 2 月にこのバージョンをリリースしました。

動作の変更

ANALYZE でサポートされていない型の列がスキップされるようになりました

ANALYZE TABLE ARRAYやMAPなど、サポートされていない型のテーブルで実行すると、エラー メッセージが表示されなくなります。 サポートされていない列が自動的にスキップされるようになりました。 これらのエラーを想定するロジックを実装しているユーザーは、コードを更新する必要があります。

Delta Sharingでは、テーブル履歴は既定で有効になっています

SQL コマンドを使用して作成された共有 ALTER SHARE <share> ADD TABLE <table>、既定で履歴共有 (WITH HISTORY) が有効になりました。 ALTER SHAREを参照してください。

資格情報の種類が一致しない場合、資格情報 SQL ステートメントでエラーが返される

このリリースでは、資格情報管理 SQL ステートメントで指定された資格情報の種類が資格情報引数の型と一致しない場合は、エラーが返され、ステートメントは実行されません。 たとえば、ステートメント DROP STORAGE CREDENTIAL 'credential-name'の場合、credential-name がストレージ資格情報でない場合、ステートメントはエラーで失敗します。

この変更は、ユーザー エラーを防ぐために行われます。 以前は、指定した資格情報の種類と一致しない資格情報が渡された場合でも、これらのステートメントは正常に実行されていました。 たとえば、次のステートメントでは、storage-credential: DROP SERVICE CREDENTIAL storage-credentialが正常に削除されます。

この変更は、次のステートメントに影響します。

• DROP CREDENTIAL
• ALTER CREDENTIAL
• DESCRIBE CREDENTIAL
• GRANT…オン…クレデンシャル
• REVOKE…オン…クレデンシャル
• SHOW GRANTS オン。。。資格 情報

新機能と機能強化

• を使用してカスタム ステートフル アプリケーションを構築する transformWithState
• サービス資格情報を使用してクラウド オブジェクト ストレージに対する認証を行う
• サービス資格情報を使用した外部クラウド サービスへの Unity カタログ管理アクセスの が GA になりました
• ノートブックはワークスペース ファイルとしてサポートされています
• 生成された列式で timestampdiff & timestampadd を使用する
• SQL パイプライン構文のサポート
• http_request関数を使用して HTTP 要求を行う
• DESCRIBE TABLEに更新すると、メタデータが構造化 JSON として返されます
• 末尾に空白の区別のない照合順序
• バケットパーティション分割を使用して Apache Iceberg テーブルをパーティション分割されていない Delta テーブルに変換する
• 標準アクセス モード (以前の共有アクセス モード) コンピューティングで、Spark Scala メソッドの foreach、 foreachBatch、および flatMapGroupsWithState

を使用してカスタム ステートフル アプリケーションを構築する transformWithState

transformWithStateおよび関連する API を使用して、構造化ストリーミング クエリの一部としてカスタム ステートフル アプリケーションを実装できるようになりました。 カスタム ステートフル アプリケーションの構築を参照してください。

サービス資格情報を使用してクラウド オブジェクト ストレージに対する認証を行う

Databricks サービス資格情報を使用して、自動ローダーを使用してクラウド オブジェクト ストレージに対して認証できるようになりました。 ファイル通知モードでの自動ローダー ストリームの構成を参照してください。

サービス資格情報を使用した外部クラウド サービスへの Unity カタログ管理アクセスが GA になりました

サービス資格情報を使用すると、Azure Databricks からクラウド テナントのサービスを使用して、シンプルで安全な認証を行うことができます。 Databricks Runtime 16.2 では、サービス資格情報が一般公開され、パブリック プレビューでサポートされていた Python SDK に加えて Scala SDK がサポートされるようになりました。 「サービス資格情報の作成」を参照してください。

ノートブックはワークスペース ファイルとしてサポートされています

Databricks Runtime 16.2 以降では、ノートブックはワークスペース ファイルとしてサポートされています。 他のファイルと同様に、ノートブックの書き込み、読み取り、削除など、ワークスペース ファイルシステムを使用できる任意の場所からプログラムでノートブックを操作できるようになりました。 詳細については、「 プログラムによるファイルとディレクトリの作成、更新、削除」を参照してください。

生成された列式で timestampdiff & timestampadd を使用する

Databricks Runtime 16.2 以降では、Delta Lake で生成された列式で timestampdiff 関数と timestampadd 関数を使用できます。 Delta Lake で生成された列 を参照してください。

SQL パイプライン構文のサポート

Databricks Runtime 16.2 以降では、 SQL パイプラインを作成できます。 SQL パイプラインは、次の例に示すように、SELECT c2 FROM T WHERE c1 = 5などの標準クエリをステップ バイ ステップ シーケンスに構造化します。

FROM T
|> SELECT c2
|> WHERE c1 = 5

SQL パイプラインでサポートされている構文については、「SQL パイプライン構文 を参照してください。

この業界間拡張機能の背景については、「SQL に問題がある 」を参照してください。我々はそれらを修正することができます:SQLのパイプ構文(Googleリサーチによる).

http_request 関数を使用して HTTP 要求を行う

Databricks Runtime 16.2 以降では、 HTTP 接続を作成 し、それらを介して http_request 関数を使用して HTTP 要求を行うことができます。

DESCRIBE TABLE に更新すると、メタデータが構造化 JSON として返されます

Databricks Runtime 16.2 以降では、 DESCRIBE TABLE AS JSON コマンドを使用して、テーブル メタデータを JSON ドキュメントとして返すことができます。 JSON 出力は、人間が判読できる既定のレポートよりも構造化されており、テーブルのスキーマをプログラムで解釈するために使用できます。 詳細については、AS JSON DESCRIBE TABLE を参照してください。

末尾の空白を区別しない照合順序

Databricks Runtime 16.2 では、末尾に空白の非依存照合順序のサポートが追加され、Databricks Runtime 16.1 で追加された照合順序のサポートが追加されました。 たとえば、これらの照合順序では、'Hello' と 'Hello ' が等しいとして扱います。 詳細については、RTRIM 照合順序 を参照してください。

バケットパーティション分割を使用して Apache Iceberg テーブルをパーティション分割されていない Delta テーブルに変換する

CONVERT TO DELTAステートメントと CREATE TABLE CLONE ステートメントでは、バケットのパーティション分割を使用した Apache Iceberg テーブルのパーティション分割されていない Delta テーブルへの変換がサポートされるようになりました。

標準アクセス モード (以前の共有アクセス モード) コンピューティングで、Spark Scala メソッドの foreach、 foreachBatch、および flatMapGroupsWithState

Databricks Runtime 16.2 以降では、標準アクセス モードコンピューティングで Scala メソッドの DataStreamWriter.foreachBatch と KeyValueGroupedDataset.flatMapGroupsWithStateがサポートされるようになりました。 Databricks Runtime 16.1 以降では、標準アクセス モードコンピューティングで Scala メソッド DataStreamWriter.foreachがサポートされるようになりました。

バグの修正

増分クローン処理機能の向上

このリリースには、増分 CLONE がソース テーブルからターゲット テーブルに既にコピーされているファイルを再コピーする可能性があるエッジ ケースの修正が含まれています。 「Azure Databricksでテーブルを複製する」を参照してください。

ライブラリのアップグレード

• アップグレードされた Python ライブラリ:
• アップグレードされた R ライブラリ:
• アップグレードされた Java ライブラリ:
  • org.json4s.json4s-ast_2.12 から 3.7.0-M11 から 4.0.7
  • org.json4s.json4s-core_2.12 から 3.7.0-M11 から 4.0.7
  • org.json4s.json4s-jackson_2.12 から 3.7.0-M11 から 4.0.7
  • org.json4s.json4s-scalap_2.12 から 3.7.0-M11 から 4.0.7

Apache Spark

Databricks Runtime 16.2 には、Apache Spark 3.5.2 が含まれています。 このリリースには、 Databricks Runtime 16.1 (EoS) に含まれるすべての Spark の修正と機能強化、および Spark に対する次の追加のバグ修正と機能強化が含まれています。

• [SPARK-49966] 元に戻す "[SC-179501][sql] Invoke を使用して JsonToStructs(from_json)" を実装する
• [SPARK-50904] [SC-186976][sql] 照合順序式ウォーカー クエリの実行を修正する
• [SPARK-49666] [SQL] InSet 式のトリミング テストを有効にする
• [SPARK-50669] [SC-184566][es-1327450][SQL] TimestampAdd 式のシグネチャを変更する
• [SPARK-50795] [16.x][sc-186719][SQL] long LinkedHashMap にタイムスタンプをdescribe型として格納する
• [SPARK-50870] [SC-186950][sql] V2ScanRelationPushDown でタイムスタンプにキャストするときのタイムゾーンを追加する
• [SPARK-50735] [SC-186944][connect] ExecuteResponseObserver でエラーが発生すると、要求が無限に再アタッチされる
• [SPARK-50522] [SC-186500][sql] 不確定照合順序のサポート
• [SPARK-50525] [SC-186058][sql] InsertMapSortInRepartitionExpressions オプティマイザー ルールの定義
• [SPARK-50679] [SC-184572][sql] 異なる With の重複した共通式は 1 回だけ投影する必要がある
• [SPARK-50847] [SC-186916] [SQL] 特定の In 式への ApplyCharTypePadding の適用を拒否する
• [SPARK-50714] [SC-186786][sql][SS] Avro エンコードが使用されている場合に TransformWithState のスキーマ進化を有効にする
• [SPARK-50795] [SC-186390][sql] すべての DESCRIBE AS JSON 日付を ISO-8601 形式で表示し、 dataType.simpleString
• [SPARK-50561] [SC-185924][sql] DBR 16.x cherrypick: UNIFORM SQL 関数の型強制と境界チェックを改善する
• [SPARK-50700] [SC-184845][sql] spark.sql.catalog.spark_catalog では、マジック値 builtin サポートされます
• [SPARK-50831] [SC-186736][sql] 既定でトリミング照合順序を有効にする
• [SPARK-50263] [SC-186793][connect] System.currentTimeMillis を System.nanoTime
• [SPARK-48730] [SC-184926][sql] SQL スカラー関数とテーブル関数に CreateSQLFunctionCommand を実装する
• [SPARK-50830] [SC-186718] [SQL] デュアルラン分析結果としてシングルパスの結果を返す
• [SPARK-50707] [SC-186098][sql] char/varchar へのキャスト/キャストを有効にする
• [SPARK-49490] [SC-182137][sql] initCap のベンチマークを追加する
• [SPARK-50529] [SC-184535][sql] spark.sql.preserveCharVarcharTypeInfo 構成で char/varchar の動作を変更する
• [SPARK-49632] [SC-184179][sql] CANNOT_PARSE_TIMESTAMPの ANSI 構成候補を削除する
• [SPARK-50815] [SC-186487][python][SQL] createDataFrame で null バリアントを渡すと失敗し、Spark Connect の createDataFrame でバリアントのサポートが追加されるバグを修正しました
• [SPARK-50828] [SC-186493][python][ML][connect] 非推奨 pyspark.ml.connect
• [SPARK-50600] [SC-186057][接続][SQL] 分析エラーで分析されたセット
• [SPARK-50824] [SC-186472][python] チェック用にオプションの Python パッケージをインポートしないようにする
• [SPARK-50755] [SC-185521][sql] InsertIntoHiveTable 用の Pretty plan display
• [SPARK-50789] [SC-186312][connect] 型指定された集計の入力を分析する必要がある
• [SPARK-50791] [SC-185867][sc-186338][SQL] State Store エラー処理での NPE の修正
• [SPARK-50801] [SC-186365] [SQL] 未解決のプランと解決済みプランのみを表示するように PlanLogger.logPlanResolution を改善する
• [SPARK-50749] [SC-185925][sql] CommutativeExpression.gatherCommutative メソッドの順序付けバグを修正
• [SPARK-50783] [SC-186347] DFS で JVM プロファイラーの結果ファイル名とレイアウトを正規化する
• [SPARK-50790] [SC-186354][python] pyspark に解析 json を実装する
• [SPARK-50738] [SC-184856][python] 黒を 23.12.1 にアップグレードする
• [SPARK-50764] [SC-185930][python] xpath 関連のメソッドの docstring を絞り込む
• [SPARK-50798] [SC-186277][sql] 改善 NormalizePlan
• [SPARK-49883] [SC-183787][ss] State Store Checkpoint Structure V2 と RocksDB および RocksDBFileManager の統合
• [SPARK-50779] [SC-186062][sql] オブジェクト レベルの照合順序の機能フラグの追加
• [SPARK-50778] [SC-186183][python] pySpark DataFrame に metadataColumn を追加する
• [SPARK-49565] [SC-186056][sql] DBR 16.x cherrypick: パイプ SQL 演算子を使用して自動生成された式のエイリアスを改善する
• [SPARK-50541] [16.x][sc-184937] テーブルを JSON として記述する
• [SPARK-50772] [SC-185923][sql] DBR 16.x cherrypick: SET、EXTEND、DROP 演算子の後にテーブルエイリアスを保持する
• [SPARK-50769] [SC-185919][sql] HistogramNumeric での ClassCastException の修正
• [SPARK-49025] [SC-174667] 差分コードの差分を DBR に同期する
• [SPARK-50752] [SC-185547][python][SQL] 矢印なしで Python UDF をチューニングするための構成を導入
• [SPARK-50705] [SC-185944][sql] QueryPlan ロックフリーにする
• [SPARK-50690] [16.x][sc-184640][SQL] 引用符で囲むビュー クエリ出力列 DESCRIBE TABLE 不一致を修正
• [SPARK-50746] [SC-184932][sql] どちらかを VariantPathSegment に置き換えます。
• [SPARK-50715] [SC-185546][python][CONNECT] SparkSession.Builder で構成をバッチで設定する
• [SPARK-50480] [SC-183359][sql] StringType から CharType と VarcharType を拡張する
• [SPARK-50675] [SC-184539][sql] テーブル レベルとビュー レベルの照合順序のサポート
• [SPARK-50409] [SC-184516][sql] ;の終了時にSET;を無視するように set ステートメントを修正SET -v;SET key;
• [SPARK-50743] [SC-185528][sql] CTERelationDef と CTERelationRef ID を正規化する
• [SPARK-50693] [SC-184684][connect] TypedScalaUdf の入力を分析する必要がある
• [SPARK-50744] [SC-184929][sql] ビュー/CTE 名前解決の優先順位のテスト ケースを追加する
• [SPARK-50710] [SC-184767][connect] リリース後のセッションへのオプションのクライアント再接続のサポートを追加
• [SPARK-50703] [SC-184843][python] regexp_replace、regexp_substr、regexp_instrのドキュメント文字列を絞り込む
• [SPARK-50716] [SC-184823][core] JavaUtils.deleteRecursivelyUsingJavaIO メソッドのシンボリック リンクのクリーンアップ ロジックを修正する
• [SPARK-50630] [SC-184443][sql] パイプ SQL AGGREGATE 演算子の序数サポート GROUP BY 修正
• [SPARK-50614] [SC-184729][sql] Parquet のバリアントシュレッディング サポートの追加
• [SPARK-50661] [SASP-4936] 古いクライアント FEB の下位互換性を追加します。
• [SPARK-50676] [SC-184641][sql] 未使用の private lazy val mapValueContainsNull を削除する ElementAt
• [SPARK-50515] [SC-183813][core] 読み取り専用インターフェイスの追加 SparkConf
• [SPARK-50697] [SC-184702][sql] 可能な限り末尾再帰を有効にする
• [SPARK-50642] [SC-184726][sc-183517][CONNECT][ss][2/N][16.x]初期状態がない場合に Spark Connect の FlatMapGroupsWithState の状態スキーマを修正する
• [SPARK-50701] [SC-184704][python] プロットには最小プロット バージョンが必要にする
• [SPARK-50702] [SC-184727][python] regexp_count、regexp_extract、regexp_extract_allのドキュメント文字列を絞り込む
• [SPARK-50499] [SC-184177][python] BasePythonRunner からメトリックを公開する
• [SPARK-50692] [SC-184705][16.x] RPAD プッシュダウンのサポートを追加する
• [SPARK-50682] [SC-184579][sql] 内部エイリアスを正規化する必要がある
• [SPARK-50699] [SC-184695][python] 指定されたセッションで DDL 文字列を解析して生成する
• [SPARK-50573] [SC-184568][ss] スキーマの進化に状態スキーマ ID を状態行に追加する
• [SPARK-50661] [SC-184639][connect][SS][sasp-4936] Spark Connect Scala foreachBatch impl を修正します。 Dataset[T]をサポートします。
• [SPARK-50689] [SC-184591][sql] LCA プロジェクト リストに決定論的順序を適用する
• [SPARK-50696] [SC-184667][python] DDL 解析メソッドの Py4J 呼び出しを最適化する
• [SPARK-49670] [SC-182902][sql] すべてのパススルー式のトリミング照合順序を有効にする
• [SPARK-50673] [SC-184565][ml] コンストラクターでモデル係数を 2 回走査しないようにWord2VecModel
• [SPARK-50687] [SC-184588][python] ロジックを最適化して DataFrameQueryContext のスタック トレースを取得する
• [SPARK-50681] [SC-184662][python][CONNECT] MapInXXX と ApplyInXXX の解析済みスキーマをキャッシュする
• [SPARK-50674] [SC-184589][python] UDTF 評価での 'terminate' メソッドの存在のチェックを修正
• [SPARK-50684] [SC-184582][python] DataFrameQueryContext での Py4J パフォーマンスの向上
• [SPARK-50578] [DBR16.x][sc-184559][PYTHON][ss] TransformWithStateInPandas の状態メタデータの新しいバージョンのサポートを追加
• [SPARK-50602] [SC-184439][sql] 無効なインデックス列が指定されている場合に適切なエラー メッセージを表示するように転置を修正
• [SPARK-50650] [SC-184532][sql] シングルパス アナライザーでのログ記録の向上
• [SPARK-50665] [SC-184533][sql] NormalizePlan で LocalRelation を ComparableLocalRelation に置き換える
• [SPARK-50644] [SC-184486][sql] Parquet リーダーのバリアント構造体を読み取ります。
• [SPARK-49636] [SC-184089][sql] INVALID_ARRAY_INDEXとINVALID_ARRAY_INDEX_IN_ELEMENT_ATの ANSI 構成候補を削除する
• [SPARK-50659] [SC-184514][sql] 単一パス アナライザーで再利用するために和集合出力計算をリファクタリングする
• [SPARK-50659] [SC-184512][sql] 和集合関連のエラーを QueryCompilationErrors に移動する
• [SPARK-50530] [SC-183419][sql] 不適切な暗黙的な文字列型のコンテキスト計算を修正
• [SPARK-50546] [SC-183807][sql] 照合順序の型強制にサブクエリ キャストのサポートを追加する
• [SPARK-50405] [SC-182889][sql] 複合データ型の照合順序の強制型を適切に処理する
• [SPARK-50637] [SC-184434][sql] シングルパス アナライザーのコード スタイルを修正する
• [SPARK-50638] [SC-184435][sql] ビューの解像度を別のファイルにリファクタリングして、シングルパス アナライザーで再利用する
• [SPARK-50615] [SC-184298][sql] スキャンにバリアントをプッシュします。
• [SPARK-50619] [SC-184210][sql] VariantGet.cast をリファクターしてキャスト引数をパックする
• [SPARK-50599] [SC-184058][sql] Avro および UnsafeRow エンコードを可能にする DataEncoder 特性を作成する
• [SPARK-50076] [SC-183809] ログ キーの修正
• [SPARK-50597] [SC-183972][sql] Optimizer.scala と SparkOptimizer.scala でバッチ構築をリファクタリングする
• [SPARK-50339] [SC-183063][spark-50360][SS] 系列情報を格納する変更ログを有効にする
• [SPARK-50526] [SC-183811][ss] ストア エンコード形式の conf をオフセット ログに追加し、サポートされていないステートフル演算子が avro を使用できないようにする
• [SPARK-50540] [SC-183810][python][SS] StatefulProcessorHandle の文字列スキーマを修正する
• [SPARK-50157] [SC-183789][sql] SparkSession によって提供される SQLConf を最初に使用します。
• [SPARK-48898] [SC-183793][sql] バリアント スキーマで null 許容値を正しく設定する
• [SPARK-50559] [SC-183814][sql] Except、Intersect、Unionの出力を遅延評価として保存
• [SPARK-48416] [SC-183643][sql] 入れ子になった相関式をサポート
• [SPARK-50428] [SC-183566][ss][PYTHON] バッチ クエリでの TransformWithStateInPandas のサポート
• [SPARK-50063] [SC-183350][sql][CONNECT] Spark Connect Scala クライアントでバリアントのサポートを追加
• [SPARK-50544] [SC-183569][python][CONNECT] 実装 StructType.toDDL
• [SPARK-50443] [SC-182590][ss] RocksDBStateStoreProvider の Guava キャッシュによって導入された Maven ビルド エラーの修正
• [SPARK-50491] [SC-183434][sql] 空の BEGIN END ブロックがエラーをスローするバグを修正
• [SPARK-50536] [SC-183443][core] ダウンロードしたアーカイブ ファイルのサイズを SparkContext および Executor
• [SPARK-45891] [SC-183439][sql] 細分化されたデータからバリアント バイナリを再構築します。
• [SPARK-49565] [SC-183465][sql] FROM 演算子の SQL パイプ構文を追加する
• [SPARK-50497] [SC-183338][sql] MultiAlias にジェネレーター以外の関数が含まれている場合、適切なメッセージでクエリに失敗する
• [SPARK-50460] [SC-183375][python][CONNECT] Connect 例外処理を一般化して簡略化する
• [SPARK-50537] [SC-183452][connect][PYTHON] で上書きされる圧縮オプションを修正 df.write.parquet
• [SPARK-50329] [SC-183358][sql] 修正 InSet$toString
• [SPARK-50524] [SC-183364][sql] デバッグ レベルに RowBasedKeyValueBatch.spill 警告メッセージが低い
• [SPARK-50528] [SC-183385][connect] InvalidCommandInput を共通モジュールに移動する
• [SPARK-50017] [SC-182438][ss] TransformWithState 演算子の Avro エンコードをサポート
• [SPARK-50463] [SC-182833][sql] 列形式から行への変換で ConstantColumnVector を修正
• [SPARK-50235] [SC-180786][sql] ColumnarToRowExec のすべての行を処理した後に ColumnVector リソースをクリーンアップする
• [SPARK-50516] [SC-183279][ss][MINOR] StreamManualClock を使用するように init 状態関連のテストを修正する
• [SPARK-50478] [SC-183188][sql] StringType の一致を修正する
• [SPARK-50492] [SC-183177][ss] dropDuplicatesWithinWatermark の後にイベント時間列が削除されたときに java.util.NoSuchElementException を修正する
• [SPARK-49566] [SC-182589][sql] SET 演算子の SQL パイプ構文を追加する
• [SPARK-50449] [SC-183178][sql] ループ、IF、CASE の空の本体を許可する SQL スクリプト文法を修正
• [SPARK-50251] [SC-180970][python] PySpark に getSystemProperty を追加する SparkContext
• [SPARK-50421] [SC-183091][core] 複数のリソース プロファイルが機能したときに Executor 関連のメモリ構成が正しくない問題を修正する
• [SPARK-49461] [SC-179572][ss] ログをコミットして読み戻す永続的なチェックポイント ID
• [SPARK-50343] [SC-183119][spark-50344][SQL] DROP 演算子と AS 演算子の SQL パイプ構文を追加する
• [SPARK-50481] [SC-182880][core] チェックサムが無効になっている場合にチェックサム ファイル ロジックをスキップする SortShuffleManager.unregisterShuffle を改善する
• [SPARK-50498] [SC-183090][python] で不要な py4j 呼び出しを回避する listFunctions
• [SPARK-50489] [SC-183053][sql][PYTHON] 後の自己結合を修正 applyInArrow
• [SPARK-49695] [SC-182967][sc-176968][SQL] Postgresのxorプッシュダウンの修正

Databricks ODBC/JDBC ドライバーのサポート

Databricks では、過去 2 年間にリリースされた ODBC/JDBC ドライバーがサポートされています。 最近リリースされたドライバーとアップグレード (ODBC のダウンロード、JDBC の ダウンロード) をダウンロードしてください。

メンテナンスの更新

Databricks Runtime 16.2 のメンテナンス更新プログラムを参照してください。

システム環境

• オペレーティング システム: Ubuntu 24.04.1 LTS
  • 注: これは、Databricks ランタイム コンテナーで使用される Ubuntu バージョンです。 Databricks ランタイム コンテナーは、クラウド プロバイダーの仮想マシン上で実行されます。これは、別の Ubuntu バージョンまたは Linux ディストリビューションを使用する可能性があります。
• Java: Zulu17.54+21-CA
• Scala: 2.12.15
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.3.0

インストールされている Python ライブラリ

インストールされている R ライブラリ

R ライブラリは、2024-08-04: https://packagemanager.posit.co/cran/2024-08-04/の Posit パッケージ マネージャー CRAN スナップショットからインストールされます。

インストールされている Java および Scala ライブラリ (Scala 2.12 クラスター バージョン)