注
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。
次のリリース ノートには、Apache Spark 3.1.1 で稼働する Databricks Runtime 8.3 と Databricks Runtime 8.3 Photon に関する情報が記載されています。 Databricks は、2021 年 6 月にこのバージョンをリリースしました。 Photon はパブリック プレビュー段階にあります。
新機能と機能強化
- Delta テーブルで生成された列 (パブリック プレビュー)
- 自動ローダーの機能と機能強化
- 新しいプログラムによる API を使用した Delta テーブルの作成 (パブリック プレビュー)
-
SQL
ANALYZEでの Delta テーブル サイズの正しい計算 - RocksDBStateStore を使用するときの RocksDB パフォーマンスの詳細なメトリック
- 自動で最適化された書き込み
- 結合の片側のみがバケット化されている場合にバケット化結合を有効にする
- Spark UDF を定義するときのセキュリティの強化 (パブリック プレビュー)
-
from_avroを使用したクエリのスキーマ レジストリへの要求数の削減 - ListResults を使用した R での複数の結果 (パブリック プレビュー)
Delta テーブルで生成された列 (パブリック プレビュー)
Delta Lake では、"生成された列" がサポートされるようになりました。これは、Delta テーブル内の他の列に対するユーザー指定の関数に基づいて値が自動的に生成される、特殊なタイプの列です。 これらの生成された列の値を生成するには、ほとんどすべての組み込み SQL 関数を使用できます。 たとえば、テーブルを日付でパーティション分割するために、タイムスタンプ列から日付列を自動的に生成できます。テーブルへ書き込みするとき必要なのは、タイムスタンプ列のデータを指定するだけです。 生成された列を含む Delta テーブルは、SQL、Scala、Java、または Python API を使用して作成できます。
詳細については、「Delta Lake で生成された列」を参照してください。
自動ローダーの機能と機能強化
- 自動ローダーでの CSV ファイルのスキーマの推論
- 自動ローダー ストリームの起動時間の改善
- 自動ローダーでのディレクトリ リスト作成の高速化
- 自動ローダー チェックポイントのストレージ オーバーヘッドの削減
- 自動ローダーでは復旧されたデータ列にファイル パスが含められる (使用可能な場合)
- 自動ローダーでは、ファイル通知モードでの Azure Data Lake Storage でのファイル名の変更がサポート
自動ローダーでの CSV ファイルのスキーマ推論
自動ローダーでは CSV ファイルに対するスキーマの推論と展開がサポートされるようになりました。 自動ローダーでは、Apache Spark の既存の CSV パーサーに加えて次の機能が用意されています。
- スキーマのマージ: 自動ローダーでは、ファイル間でスキーマが異なる (列の数や列の順序が異なる) CSV ファイルを取り込むことができます。
- 復旧されたデータ列: 復旧されたデータ列を使用して、CSV ファイルに表示される可能性がある予期しないデータを復旧できます。 これには、予期されるデータ型で解析できないデータ、ヘッダーで大文字と小文字が異なる列または null 値を持つ列、または予想されるスキーマに含まれていない追加の列が含まれます。
詳細については、「自動ローダーでのスキーマの推論と展開の構成」を参照してください。
自動ローダー ストリームの起動時間の改善
自動ローダー ストリームでは、最初の起動時にストリームの初期バックフィルを非同期的に実行するようになりました。これにより、ストリームの起動時間が大幅に短縮されます。 これにより、特に数百万個あるいは数十億個のファイルを含むディレクトリからデータを取り込む必要がある場合に、運用データでコードをすばやく反復処理することができます。
また、再起動されるストリームのブートストラップ時間も改善されています。これは、厳密に 1 回のセマンティクスを提供するために自動ローダーで使用される RocksDB ファイルのダウンロードとアップロードが並列化されているためです。
自動ローダーでのディレクトリ リスト作成の高速化
自動ローダーのディレクトリ リスト作成の効率が大幅に向上しました。 このパフォーマンス向上の副作用として、処理する新しいデータが存在しない場合にストリームによってストレージ システムに対してより多くのリスト要求が生成されることがあり、これによって、リスト要求の料金が急増する可能性があります。 一般的なベスト プラクティスとして、Databricks では運用ストリーミング パイプラインに対して適切なトリガー間隔を設定することをお勧めします。 「構造化ストリーミングの運用に関する考慮事項」を参照してください。
自動ローダー チェックポイントのストレージ オーバーヘッドの削減
自動ローダー ストリームでは、チェックポイント ディレクトリのサイズが無期限に増大するのを回避し、ストレージ コストを削減するために、チェックポイント ディレクトリ内の古いファイルが非同期的に自動的にクリーンアップされるようになりました。
自動ローダーでは復旧されたデータ列にファイル パスが含められる (使用可能な場合)
復旧されたデータ列には、_file_ path という名前の列にある場合、復旧されたデータのファイル パスが自動的に提供されます。 これは、データ品質の問題の根本原因を追跡するのに役立ちます。 データ スキーマに _file_path という名前の列が含まれている場合、この列は含まれません。 必要に応じて、SQL 構成 spark.databricks.sql.rescuedDataColumn.filePath.name を使用して列の名前を変更できます。
自動ローダーでは、ファイル通知モードでの Azure Data Lake Storage でのファイル名の変更がサポートされます
自動ローダーでは、ファイル通知モードで実行するときに、Azure Data Lake Storage の BlobRenamed イベントがサポートされるようになりました。 ファイル通知を使用した名前変更操作によって Azure Data Lake Storage コンテナーにアップロードされたファイルを処理するには、Databricks Runtime 8.3 を使用して自動ローダーで新しいストリームを開始します。 ファイルが厳密に 1 回処理されるようにするには、ファイルの名前が変更されるソース ディレクトリが自動ローダーによって監視されないようにしてください。
新しいプログラムによる API を使用した Delta テーブルの作成 (パブリック プレビュー)
データフレーム API を使用せずにプログラムによって (Scala、Java、Python を使用して) 新しい Delta テーブルを作成できるようになりました。 新しい DeltaTableBuilder およびDeltaColumnBuilder の API を使用して、SQL の CREATE TABLE を使用して指定できるテーブルの詳細をすべて指定できます。
詳細については、「テーブルの作成」を参照してください。
SQL ANALYZE での Delta テーブル サイズの正しい計算
既存の分析ロジックでは、Delta テーブルのテーブル サイズが誤って計算され、間違ったサイズでカタログが更新されます。 この修正は、デルタ ログから Delta テーブルのサイズを取得することです。
RocksDBStateStore を使用するときの RocksDB パフォーマンスの詳細なメトリック
RocksDB を状態ストアとして使用するように構造化ストリーミング クエリを構成している場合、get/put 遅延、圧縮遅延、キャッシュ ヒットなどに関する詳細なメトリックを使用して、RocksDB のパフォーマンスの可視性を向上できるようになりました。 これらのメトリックは、ストリーミングクエリを監視するためにStreamingQueryProgressおよびStreamingQueryListener APIを通じて利用できます。
詳細については、「Azure Databricks で RocksDB 状態ストアを構成する」を参照してください。
自動で最適化された書き込み
パーティション分割された Delta テーブルへの最適化された書き込みが、サブクエリを含む更新および削除クエリに対して自動的に有効化されるようになりました。
結合の片側のみがバケット化されている場合にバケット化された結合を有効にする
新しい構成 spark.databricks.sql.minBucketsForBucketedJoin では、結合の片側のみがバケット化され、バケットの数がこの構成値を下回らない場合に、バケット化された結合が可能になります。 既定では、この構成値は既定のシャッフル パーティション数 (200) と同じです。
Spark UDF を定義するときのセキュリティの強化 (パブリック プレビュー)
ユーザー情報関数 current_user および is_member は、Python の spark.udf.register や SQL の create or replace temp function を含む一時関数でオーバーライドできなくなりました。
from_avro を使用したクエリのスキーマ レジストリへの要求数の削減
スキーマ レジストリをサポートする from_avro を使用したクエリでは、スキーマ レジストリ サービスに対して同数の要求が生成されなくなり、運用コストが削減されます。
ListResults を使用した R での複数の結果 (パブリック プレビュー)
Databricks R ノートブックでは、各セルで複数の結果がサポートされるようになりました。 以前は、ノートブック セルごとに 1 つの結果のみが表示されていました。 現在、R ノートブックの 1 つのセルの結果は、次の順序で表示されます。
- RShiny URL
- プロット
- displayHTML の出力
- テーブル
- stdout
ライブラリのアップグレード
- アップグレードされた Python ライブラリ:
- koalas が 1.7.0 から 1.8.0 にアップグレード。
- pandas が 1.1.3 から 1.1.5 にアップグレード。
- s3transfer が 0.3.4 から 0.3.6 にアップグレード。
- アップグレードされた R ライブラリ:
- SparkR が 3.1.1 から 3.1.2 にアップグレード。
- アップグレードされた Java ライブラリ:
- mariadb-java-client が 2.1.2 から 2.2.5 へ。
- parquet-column が 1.10.1-databricks6 から 1.10.1-databricks9 へ
- parquet-common が 1.10.1-databricks6 から 1.10.1-databricks9 に変更されます
- parquet-encoding を 1.10.1-databricks6 から 1.10.1-databricks9 に変更します。
- parquet-hadoop を 1.10.1-databricks6 から 1.10.1-databricks9 に更新しました。
- parquet-jackson が 1.10.1-databricks6 から 1.10.1-databricks9 へ
Apache Spark
Databricks Runtime 8.3 には、Apache Spark 3.1.1 が含まれています。 このリリースには、Databricks Runtime 8.2 (EoS) に含まれるすべての Spark の修正プログラムおよび機能強化に加え、Spark に対して行われた以下のバグ修正と機能強化が含まれています。
- [SPARK-34614] [SQL] ANSI モード: 文字列をブール値にキャストすると、解析エラーが発生した場合に例外をスローする必要がある
- [SPARK-34246] [FOLLOWUP] `findTightestCommonT…の定義を変更する
- [SPARK-35213] [SQL] チェーン化された withField 演算で、入れ子になった構造体の正しい順序を保持する
- [SPARK-35096] [SQL] SchemaPruning は spark.sql.caseSensitive config に従う必要がある
- [SPARK-35227] [BUILD] SparkSubmit の SPARK パッケージの競合回避モジュールを更新する
-
[SPARK-35224] [SQL]
MutableProjectionSuiteのバッファー オーバーフローを修正する - [SPARK-34245] [CORE] 完了状態を送信できなかった実行プログラムがマスターによって削除されることを確認
- [SPARK-34856] [SQL] ANSI モード: 複合型を文字列型としてキャストできるようにした
- [SPARK-34946] [SQL] 集計でサポートされていない相関スカラー サブクエリをブロックする
- [SPARK-35014] フォールド可能な式を再書き込みしないように PhysicalAggregation パターンを修正する
- [SPARK-34769] [SQL] AnsiTypeCoercion: 最も近い変換を返す
システム環境
- オペレーティング システム: Ubuntu 18.04.5 LTS
- Java: Zulu 8.52.0.23-CA-linux64 (ビルド 1.8.0_282-b08)
- Scala: 2.12.10
- Python: 3.8.8
- R: R バージョン 4.0.4 (2021-02-15)
- Delta Lake 1.0.0
インストールされている Python ライブラリ
| ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
| アプリケーションディレクトリ (appdirs) | 1.4.4 | asn1crypto | 1.4.0 | バックコール (再発信機能) | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | brotlipy | 0.7.0 |
| サーティフィ | 2020.12.5 | cffi | 1.14.3 | チャーデット | 3.0.4 |
| 暗号学 | 3.1.1 | サイクラー | 0.10.0 | Cython | 0.29.21 |
| デコレーター | 4.4.2 | distlib | 0.3.1 | docutils (ドキュメントユーティリティ) | 0.15.2 |
| 入口点 | 0.3 | ファセット概要 | 1.0.0 | ファイルロック | 3.0.12 |
| idna | 2.10 | ipykernel | 5.3.4 | ipython | 7.19.0 |
| ipython-genutils (IPython用のユーティリティ) | 0.2.0 | ジェダイ | 0.17.2 | jmespath | 0.10.0 |
| 「joblib」 | 0.17.0 | ジュピタークライアント | 6.1.7 | ジュピター・コア | 4.6.3 |
| キウィソルバー | 1.3.0 | コアラ | 1.8.0 | matplotlib | 3.2.2 |
| NumPy (数値計算ライブラリ) | 1.19.2 | パンダ | 1.1.5 | パーソ | 0.7.0 |
| パッツィ | 0.5.1 | ペキスペクト | 4.8.0 | ピクルシェア | 0.7.5 |
| 種 | 20.2.4 | plotly - データビジュアライゼーションツール | 4.14.3 | prompt-toolkit（プロンプトツールキット） | 3.0.8 |
| プロトバフ | 3.17.0 | psycopg2 | 2.8.5 | ptyprocess | 0.6.0 |
| pyarrow (パイアロー) | 1.0.1 | pycparser（パイシーパーサー） | 2.20 | Pygments | 2.7.2 |
| pyOpenSSL（PythonのSSL/TLSライブラリ） | 19.1.0 | パイパーシング (Pyparsing) | 2.4.7 | PySocks | 1.7.1 |
| python-dateutil (Python用の日付処理ライブラリ) | 2.8.1 | pytz | 2020.5 | pyzmq | 19.0.2 |
| リクエスト | 2.24.0 | 再試行中 | 1.3.3 | s3transfer | 0.3.6 |
| scikit-learn（サイキット・ラーン） | 0.23.2 | scipy | 1.5.2 | seaborn（シーボーン） | 0.10.0 |
| setuptools（セットアップツール） | 50.3.1 | 6 | 1.15.0 | statsmodels（スタッツモデルズ） | 0.12.0 |
| Threadpoolctl | 2.1.0 | 竜巻 | 6.0.4 | traitlets（トレイトレット） | 5.0.5 |
| urllib3 | 1.25.11 | virtualenv | 20.2.1 | wcwidth（文字の幅を測定するプログラム関数） | 0.2.5 |
| 車輪 | 0.35.1 |
インストールされている R ライブラリ
R ライブラリは、2020 年 11 月 2 日の Microsoft CRAN スナップショットからインストールされています。
| ライブラリ | バージョン | ライブラリ | バージョン | ライブラリ | バージョン |
|---|---|---|---|---|---|
| アスクパス | 1.1 | assertthat（アサートザット関数） | 0.2.1 | バックポート（旧バージョンへの機能移植） | 1.2.1 |
| 基盤 | 4.0.4 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| ビット | 4.0.4 | 64ビット | 4.0.5 | ブロブ | 1.2.1 |
| 起動 | 1.3-27 | 醸成 | 1.0-6 | 活気 | 1.1.0 |
| 箒 | 0.7.2 | コールアール | 3.5.1 | キャレット | 6.0-86 |
| セルレンジャー (cellranger) | 1.1.0 | クロノ | 2.3-56 | クラス | 7.3-18 |
| CLI | 2.2.0 | クリッパー | 0.7.1 | クラスター | 2.1.1 |
| コードツール | 0.2-18 | カラー空間 | 2.0-0 | コモンマーク | 1.7 |
| コンパイラ | 4.0.4 | 設定 | 0.3 | covr | 3.5.1 |
| CPP11 | 0.2.4 | クレヨン | 1.3.4 | 資格情報 | 1.3.0 |
| クロストーク | 1.1.0.1 | カール | 4.3 | データテーブル (data.table) | 1.13.4 |
| データセット | 4.0.4 | DBI | 1.1.0 | dbplyr | 2.0.0 |
| 説明 | 1.2.0 | 開発ツール | 2.3.2 | diffobj | 0.3.2 |
| ダイジェスト | 0.6.27 | dplyr | 1.0.2 | DT | 0.16 |
| 省略記号 | 0.3.1 | 評価する | 0.14 | ファンシ | 0.4.1 |
| farver | 2.0.3 | ファストマップ | 1.0.1 | フォーキャッツ | 0.5.0 |
| フォーリーチ | 1.5.1 | 外国の | 0.8-81 | 鍛冶場 | 0.2.0 |
| FS | 1.5.0 | 未来 | 1.21.0 | ジェネリクス | 0.1.0 |
| ゲルト | 1.0.2 | ggplot2 | 3.3.2 | gh | 1.2.0 |
| gitcreds | 0.1.1 | glmnet(英語) | 4.0-2 | グローバル変数 | 0.14.0 |
| 接着剤 | 1.4.2 | ガウアー | 0.2.2 | グラフィックス | 4.0.4 |
| grDevices | 4.0.4 | グリッド | 4.0.4 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | 安らぎの場 | 2.3.1 |
| highr | 0.8 | エイチ・エム・エス | 0.5.3 | HTMLツール | 0.5.0 |
| HTMLウィジェット | 1.5.3 | httpuv | 1.5.4 | 「httr」パッケージ（HTTPリクエストを簡単に送信するためのライブラリ） | 1.4.2 |
| エイチライター | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| アイプレッド | 0.9-9 | アイソバンド | 0.2.3 | イテレータ | 1.0.13 |
| jsonlite | 1.7.2 | カーンスムース | 2.23-18 | ニット | 1.30 |
| ラベル付け | 0.4.2 | あとで | 1.1.0.1 | 格子構造 | 0.20-41 |
| 溶岩 | 1.6.8.1 | lazyeval | 0.2.2 | ライフサイクル | 0.2.0 |
| listenv | 0.8.0 | ルブリデート | 1.7.9.2 | Magrittr | 2.0.1 |
| 値下げ | 1.1 | 質量 | 7.3-53.1 | マトリックス | 1.3-2 |
| メモ化 | 1.1.0 | 方法 | 4.0.4 | mgcv | 1.8-33 |
| マイム | 0.9 | モデルメトリクス | 1.2.2.2 | モデルル | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | ニューラルネットワーク (nnet) | 7.3-15 |
| numDeriv（ヌムデリヴ） | 2016年8月～2016年1月1日 | openssl (オープンソースの暗号化ツール) | 1.4.3 | 並行 | 4.0.4 |
| 平行に | 1.22.0 | 柱 | 1.4.7 | pkgbuild（パッケージビルド） | 1.1.0 |
| pkgconfig | 2.0.3 | pkgload(パッケージロード) | 1.1.0 | plogr | 0.2.0 |
| プライル | 1.8.6 | 称賛 | 1.0.0 | プリティーユニッツ | 1.1.1 |
| プロック (pROC) | 1.16.2 | プロセスエックス | 3.4.5 | プロッドリム | 2019.11.13 |
| 進捗 | 1.2.2 | 約束 | 1.1.1 | プロト | 1.0.0 |
| PS | 1.5.0 | ゴロゴロ | 0.3.4 | R2D3 | 0.2.3 |
| R6 | 2.5.0 | ランダムフォレスト | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | RColorブリューワー | 1.1-2 | Rcpp | 1.0.5 |
| 読み取り | 1.4.0 | readxl (エクセルファイルの読み取り用パッケージ/関数) | 1.3.1 | レシピ | 0.1.15 |
| 再試合 | 1.0.1 | リマッチ2 | 2.1.2 | リモコン | 2.2.0 |
| 再現可能な例 (reprex) | 0.3.0 | リシェイプ2 | 1.4.4 | レックス | 1.2.0 |
| rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
| リオキシジェン2 | 7.1.1 | rpart（Rプログラミング言語における再帰的分割のためのパッケージ） | 4.1-15 | rprojroot さん | 2.0.2 |
| Rサーブ | 1.8-7 | RSQLite (英語) | 2.2.1 | rstudioapi | 0.13 |
| アールバージョンズ | 2.0.2 | アヴェスト | 0.3.6 | 秤 | 1.1.1 |
| セレクター | 0.4-2 | セッション情報 | 1.1.1 | 形状 | 1.4.5 |
| ピカピカ | 1.5.0 | ソースツール | 0.1.7 | スパークラー (sparklyr) | 1.5.2 |
| SparkR | 3.1.2 | 空間的 | 7.3-11 | スプライン | 4.0.4 |
| sqldf | 0.4-11 | スクウェアム | 2020.5 | 統計 | 4.0.4 |
| 統計プログラミングパッケージ「stats4」 | 4.0.4 | ストリンギ | 1.5.3 | stringr | 1.4.0 |
| 生存 | 3.2-7 | sys | 3.4 | tcltk（ティーシーエルティーケー） | 4.0.4 |
| ティーチングデモズ | 2.10 | テストザット | 3.0.0 | tibble（ティブル） | 3.0.4 |
| ティディル | 1.1.2 | tidyselect関数 | 1.1.0 | tidyverse（タイディバース） | 1.3.0 |
| 時刻と日付 | 3043.102 | tinytex | 0.28 | ツール | 4.0.4 |
| この機能を使う | 2.0.0 | UTF8 | 1.1.4 | ユーティリティ | 4.0.4 |
| UUID（ユニバーサルユニーク識別子） | 0.1-4 | VCTRSの | 0.3.5 | ヴィリディスライト | 0.3.0 |
| ワルド | 0.2.3 | ウイスカー | 0.4 | ウィザー | 2.3.0 |
| xfun | 0.19 | xml2 | 1.3.2 | xopen (エックスオープン) | 1.0.0 |
| xtable (エクステーブル) | 1.8-4 | YAML | 2.2.1 | ジップ | 2.1.1 |
インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)
| グループ識別子 | アーティファクト ID | バージョン |
|---|---|---|
| アンラル（ANTLR） | アンラル（ANTLR） | 2.7.7 |
| com.amazonaws | amazon-kinesis-client（アマゾン・キネシス・クライアント） | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling (オートスケーリング用Java SDK) | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | AWSのJava SDKパッケージであるCloudFront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm（AWSのクラウドHSM用Javaソフトウェア開発キット） | 1.11.655 |
| com.amazonaws | AWSのJava SDK - cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy（AWSのJava SDK用CodeDeployサービス） | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity (AWS Java SDK コグニトアイデンティティ) | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config（AWS Java SDK 設定） | 1.11.655 |
| com.amazonaws | aws-java-sdk-core（AWS Java SDKのコア） | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline (AWS Java SDKのデータパイプラインモジュール) | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect (AWSのJava SDKのDirect Connect機能) | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | AWS Java SDK エラスティキャッシュ | 1.11.655 |
| com.amazonaws | AWS Java SDK エラスティックビーンストーク | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder (AWS用のJava開発ツールキット - Elastic Transcoder) | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | AWSのJava SDK（IAM用） | 1.11.655 |
| com.amazonaws | AWS Java SDK インポートエクスポート | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-機械学習 | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds（AWSのJava用RDSソフトウェア開発キット） | 1.11.655 |
| com.amazonaws | AWS Java SDK Redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway (AWSのJava SDK用のストレージゲートウェイ) | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | AWS Java SDK サポート | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries (AWS Java SDK SWFライブラリ) | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspacesとはAWSのワークスペースを管理するためのJava用SDKです。 | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | ストリーム | 2.9.6 |
| com.databricks | Rサーブ | 1.8-3 |
| com.databricks | jets3t (ジェットスリート) | 0.7.1-0 |
| com.databricks.scalapb | コンパイラプラグイン_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-シェーデッド | 4.0.2 |
| com.esotericsoftware | minlog (ミンログ) | 1.3.0 |
| com.fasterxml | 同級生 | 1.3.4 |
| com.fasterxml.jackson.core | ジャクソン・アノテーションズ | 2.10.0 |
| com.fasterxml.jackson.core | ジャクソン・コア (jackson-core) | 2.10.0 |
| com.fasterxml.jackson.core | ジャクソン・データバインド (jackson-databind) | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor（ジャクソンデータフォーマットCBOR） | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.カフェイン | カフェイン | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | コア | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-ジャバ-ネイティブス | 1.1 |
| com.github.fommil.netlib | ネイティブシステム-Java | 1.1 |
| com.github.fommil.netlib | ネイティブシステム-Java-ネイティブ | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni (ゼットスタッドジェイエヌアイ) | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | グアバ | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | プロファイラー | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk（アジュール・データ・レイク・ストア・SDK） | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | Compress-LZF (コンプレス-LZF) | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | JSON | 1.8 |
| com.thoughtworks.paranamer | パラナマー | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | チル-ジャヴァ | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | 設定 | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers（ユニボシティ・パーサーズ） | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| コモンズ・コーデック | コモンズ・コーデック | 1.10 |
| コモンズ・コレクションズ | コモンズ・コレクションズ | 3.2.2 |
| commons-configuration (コモンズ・コンフィギュレーション) | commons-configuration (コモンズ・コンフィギュレーション) | 1.6 |
| commons-dbcp（コモンズ-DBCP） | commons-dbcp（コモンズ-DBCP） | 1.4 |
| commons-digester (コモンズ・ダイジェスター) | commons-digester (コモンズ・ダイジェスター) | 1.8 |
| コモンズ-ファイルアップロード | コモンズ-ファイルアップロード | 1.3.3 |
| commons-httpclient（コモンズHTTPクライアント） | commons-httpclient（コモンズHTTPクライアント） | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang (コモンズ・ラン、Javaの汎用ユーティリティライブラリ) | commons-lang (コモンズ・ラン、Javaの汎用ユーティリティライブラリ) | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool（コモンズプール） | commons-pool（コモンズプール） | 1.5.4 |
| hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
| hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | エアコンプレッサー | 0.10 |
| io.dropwizard.metrics | メトリクス・コア | 4.1.1 |
| io.dropwizard.metrics | メトリクス・グラファイト | 4.1.1 |
| io.dropwizard.metrics | メトリクスのヘルスチェック | 4.1.1 |
| io.dropwizard.metrics | メトリクス-ジェッティ9 | 4.1.1 |
| io.dropwizard.metrics | メトリクス-JMX | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | メトリクス-JVM | 4.1.1 |
| io.dropwizard.metrics | メトリクス-サーブレット | 4.1.1 |
| io.netty | netty-all (ライブラリ名) | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | シンプルクライアント_コモン | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | シンプルクライアント_プッシュゲートウェイ | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | コレクタ | 0.12.0 |
| jakarta.annotation | ジャカルタ・アノテーションAPI | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | アクティベーション | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.サーブレット | javax.サーブレット-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | トランザクションAPI | 1.1 |
| .bind の javax.xml | jaxb-api | 2.2.2 |
| .stream の javax.xml | stax-api | 1.0-2 |
| 「ジャボリューション（Javolution）」 | 「ジャボリューション（Javolution）」 | 5.5.1 |
| ジェイライン | ジェイライン | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | アパッチ・ログ4J・エクストラ | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees (メイヴン・ツリーズ) | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
| net.razorvine | パイロライト | 4.30 |
| net.sf.jpam | ジェーパム | 1.1 |
| net.sf.opencsv | opencsv (CSVファイル操作のためのライブラリ) | 2.3 |
| net.sf.supercsv | スーパCSV (スーパーシーエスブイ) | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk（スノーフレーク・インジェスト・SDK） | 0.9.6 |
| net.snowflake | スノーフレーク-JDBC | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | ストリングテンプレート | 3.2.1 |
| org.apache.ant | 蟻 | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | 矢印フォーマット | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | アロー・メモリー・ネッティ | 2.0.0 |
| org.apache.arrow | 矢印ベクトル | 2.0.0 |
| org.apache.avro | アブロ | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | コモンズ・コンプレス | 1.20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | コモンズテキスト | 1.6 |
| org.apache.curator | キュレータークライアント | 2.7.1 |
| org.apache.curator | Curator Framework（キュレーター・フレームワーク） | 2.7.1 |
| org.apache.curator | キュレーターのレシピ | 2.7.1 |
| org.apache.derby | ダービー | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | APIユーティル | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | Hadoop 注釈 | 2.7.4 |
| org.apache.hadoop | hadoop-auth（認証システム） | 2.7.4 |
| org.apache.hadoop | ハドゥープクライアント | 2.7.4 |
| org.apache.hadoop | Hadoop共通 | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | Hadoop-YARN-クライアント | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | ハドゥープ・ヤーン・サーバー・コモン | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | ハイブ-コモン | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | ハイヴメタストア | 2.3.7 |
| org.apache.hive | ハイブセーデ | 2.3.7 |
| org.apache.hive | ハイブシムス | 2.3.7 |
| org.apache.hive | hive-storage-api (ハイブストレージAPI) | 2.7.2 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler (ハイブシムススケジューラー) | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-インキュベーション中 |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | アイビー | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | オーク・コア | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | orc-shims（オーク・シムズ） | 1.5.12 |
| org.apache.parquet | パーケット列 | 1.10.1-databricks9 |
| org.apache.parquet | パーケット・コモン | 1.10.1-databricks9 |
| org.apache.parquet | パーケットエンコーディング | 1.10.1-databricks9 |
| org.apache.parquet | パルクェット形式 (Parquet形式) | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift (リブスリフト) | 0.12.0 |
| org.apache.velocity | 速度 | 1.5 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | オーディエンス注釈 | 0.5.0 |
| org.apache.zookeeper | 動物園の飼育員 | 3.4.14 |
| org.codehaus.jackson | ジャクソンコアASL | 1.9.13 |
| org.codehaus.jackson | ジャクソン-JAXRS | 1.9.13 |
| org.codehaus.jackson | ジャクソン・マッパー・ASL | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | 共用コンパイラ | 3.0.16 |
| org.codehaus.janino | ジャニーノ (janino) | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | データニュクレウス-RDBMS | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | ジェッティ・コンティニュエーション | 9.4.36.v20210114 |
| org.eclipse.jetty | ジェッティ-HTTP | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi（ジェッティ-JNDI） | 9.4.36.v20210114 |
| org.eclipse.jetty | ジェッティプラス | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy（ジェッティープロキシ） | 9.4.36.v20210114 |
| org.eclipse.jetty | ジェッティ・セキュリティ | 9.4.36.v20210114 |
| org.eclipse.jetty | ジェッティ・サーバー | 9.4.36.v20210114 |
| org.eclipse.jetty | ジェッティ-サーブレット | 9.4.36.v20210114 |
| org.eclipse.jetty | ジェッティ・サーブレット (jetty-servlets) | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util (ジェッティユーティル) | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util-ajax (ジェティ・ユーティル・エイジャックス) | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-webapp（ジェッティ・ウェブアプリ） | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2ユーティリティー | 2.6.1 |
| org.glassfish.hk2 | OSGiリソースロケーター | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-サーブレット | 2.30 |
| org.glassfish.jersey.containers | jersey-container-サーブレット-コア | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | ジャージー・コモン | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | ジャージー・メディア・JAXB | 2.30 |
| org.hibernate.validator | hibernate-validator (ハイバーネイト検証ツール) | 6.1.0.Final |
| org.javassist | javassist（ジャバアシスト） | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client（MariaDB用Javaクライアント） | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.0 |
| org.roaringbitmap | シム | 0.9.0 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine（アールエンジン） | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | テストインターフェース | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.springframework | spring-core（スプリング・コア） | 4.1.4.RELEASE |
| org.springframework | スプリングテスト | 4.1.4.RELEASE |
| org.threeten | threeten-extra（スリー・テン・エクストラ） | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | "machinist_2.12" (マシニスト2.12) | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | スパイア-プラットフォーム_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | ワイルドフライ-オープンSSL | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml（スネークヤムル） | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays (ジェイラージアレイ) | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| スタックス | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |