次の方法で共有


Databricks Runtime 12.2 LTS for Machine Learning

Databricks Runtime 12.2 LTS for Machine Learning には、Databricks Runtime 12.2 LTS に基づく機械学習とデータ サイエンス向けのすぐに使用できる環境が用意されています。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。 Databricks Runtime ML には、機械学習パイプラインを自動的にトレーニングするツールである AutoML が含まれています。 また、Databricks Runtime ML では、Horovod を使用した分散型ディープ ラーニング トレーニングもサポートされます。

注意

LTS は、このバージョンが長期的にサポートされていることを意味します。 Databricks Runtime LTS バージョンのライフサイクルに関する記事を参照してください。

Databricks Runtime ML クラスターを作成する手順などの詳細については、「Databricks での AI と機械学習」を参照してください。

ヒント

サポート終了 (EoS) を迎えた Databricks Runtime のバージョンのリリース ノートについては、「サポート終了 Databricks Runtime のリリース ノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されていない可能性があります。

新機能と機能強化

Databricks Runtime 12.2 LTS ML は、Databricks Runtime 12.2 LTS の上に構築されています。 Apache Spark MLlib や SparkR など、Databricks Runtime 12.2 LTS の新機能については、 Databricks Runtime 12.2 LTS のリリース ノートを参照してください。

自動機械学習 (AutoML)

AutoML 予測の問題に対して元の入力データセットを拡張するには、特徴量ストア内の既存の特徴量テーブルを使用できます。 詳細については、「 AutoML Feature Store の統合を参照してください。

AutoML の詳細については、「 AutoML とは」を参照

システム環境

Databricks Runtime 12.2 LTS ML のシステム環境は、Databricks Runtime 12.2 LTS とは次のように異なります。

Databricks Runtime 12.2 LTS ML には XGBoost 1.7.2 が含まれています。これは、コンピューティング機能 5.2 以下の GPU クラスターをサポートしていません。

ライブラリ

次のセクションでは、Databricks Runtime 12.2 LTS ML に含まれるライブラリで、Databricks Runtime 12.2 LTS に含まれているものと異なるライブラリの一覧を示します。

このセクションの内容は次のとおりです。

最上位層ライブラリ

Databricks Runtime 12.2 LTS ML には、次の最上位層ライブラリが含まれています。

Python ライブラリ

Databricks Runtime 12.2 LTS ML には、Python パッケージ管理に Virtualenv が使われており、多くの一般的な ML パッケージが含まれています。

以下のセクションで指定されているパッケージに加えて、Databricks Runtime 12.2 LTS ML には次のパッケージも含まれています。

  • hyperopt 0.2.7+db3
  • sparkdl 2.3.0-db3
  • automl 1.16.0

ローカルの Python 仮想環境で Databricks Runtime ML Python 環境を再現するには、requirements-12.2.txt ファイルをダウンロードして pip install -r requirements-12.2.txt を実行します。 このコマンドは、Databricks Runtime ML が使用するすべてのオープン ソース ライブラリをインストールしますが、databricks-automldatabricks-feature-storehyperopt の Databricks フォークなど、Databricks によって開発されたライブラリはインストールしません。

CPU クラスター上の Python ライブラリ

ライブラリ バージョン ライブラリ バージョン ライブラリ バージョン
absl-py 1.0.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
アスター 0.8.1 アストトークン 2.0.5 astunparse 1.6.3
属性 21.4.0 azure-core (アジュール コア) 1.26.3 azure-cosmos 4.2.0
バックコール (再発信機能) 0.2.0 バックポート.entry-points-selectable 1.2.0 bcrypt 3.2.0
beautifulsoup4 4.11.1 黒い 22.3.0 漂白剤 4.1.0
ブリス 0.7.9 boto3 1.21.32 botocore 1.24.32
キャッシュツールズ (cachetools) 4.2.2 カタログ 2.0.8 category-encoders (カテゴリーエンコーダー) 2.5.1.post0
サーティフィ 2021.10.8 cffi 1.15.0 チャーデット 4.0.0
charset-normalizer (文字コード正規化ツール) 2.0.4 クリックし 8.0.4 クラウドピックル 2.0.0
cmdstanpy 1.1.0 お菓子 0.0.4 configparser (コンフィグパーサー) 5.2.0
日付変換 2.4.0 暗号技術 3.4.8 サイクリスト 0.11.0
サイメム 2.0.7 Cython 0.29.28 databricks-automl-runtime(データブリックス・オートエムエル・ランタイム) 0.2.15
databricks-cli 0.17.4 databricks-feature-store 0.10.0 dbl-tempo 0.1.12
dbus-python 1.2.16 debugpy 1.5.1 デコレーター 5.1.1
デフューズドXML (defusedxml) 0.7.1 ディル 0.3.4 ディスクキャッシュ 5.4.0
distlib 0.3.6 ドックストリングをMarkdownに変換 0.11 入口点 0.4
エフェム 4.1.4 実行中 0.8.3 ファセット概要 1.0.0
fastjsonschema 2.16.2 fasttext(ファーストテキスト) 0.9.2 ファイルロック 3.6.0
フラスコ 1.1.2 フラットバッファーズ 23.1.21 fonttools(フォントツールズ) 4.25.0
fsspec 2022.2.0 未来 0.18.2 ガスト 0.4.0
ギットディービー 4.0.10 GitPython 3.1.27 google-auth(Google認証) 1.33.0
google-auth-oauthlib 0.4.6 グーグルパスタ 0.2.0 grpcio 1.42.0
ガニーコーン (gunicorn) 20.1.0 gviz-api 1.10.0 h5py 3.6.0
ヒジュリ変換器 2.2.4 休日 0.18 ホロヴォド 0.27.0
HTML最小化ツール(htmlmin) 0.1.12 huggingface-hub(ハギングフェイスのハブ) 0.12.0 idna 3.3
イメージハッシュ (ImageHash) 4.3.1 imbalanced-learn 0.10.1 importlib-metadata 4.11.3
ipykernel 6.15.3 ipython 8.5.0 ipython-genutils (IPython用のユーティリティ) 0.2.0
ipywidgets (インタラクティブウィジェット) 7.7.2 アイソデート 0.6.1 itsdangerous(イッツデンジャラス) 2.0.1
ジェダイ 0.18.1 ジンジャ2 2.11.3 jmespath 0.10.0
「joblib」 1.1.1 ジョブリブスパーク 0.5.1 JSONスキーマ 4.4.0
ジュピタークライアント 6.1.12 jupyter_core(ジュピター・コア) 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab ウィジェット 1.0.0 keras 2.11.0 キウィソルバー 1.3.2
韓国陰暦 0.3.1 言語コード 3.3.0 libclang 15.0.6.1
lightgbm 3.3.4 llvmlite 0.38.0 LunarCalendar 0.0.9
アオザメ 1.2.0 マークダウン 3.3.4 マークアップセーフ 2.0.1
matplotlib 3.5.1 matplotlib-インライン 0.1.2 マッケイブ 0.7.0
ミスチューン 0.8.4 mleap 0.20.0 mlflow-skinny 2.1.1
マルチメソッド 1.9.1 マーマーハッシュ (murmurhash) 1.0.9 mypy-extensions (マイパイ拡張機能) 0.4.3
nbclient(エヌビー・クライアント) 0.5.13 NBコンバート 6.4.4 nbフォーマット 5.3.0
nest-asyncio(ネスト・アサインキオ) 1.5.5 networkx 2.7.1 nltk 3.7
nodeenv 1.7.0 ノートブック 6.4.8 numba 0.55.1
NumPy (数値計算ライブラリ) 1.21.5 oauthlib 3.2.0 opt-einsum 3.3.0
パッケージング 21.3 パンダ 1.4.2 pandas-profiling(パンダスプロファイリング) 3.6.2
パンドックフィルターズ 1.5.0 paramiko 2.9.2 パルソ 0.8.3
パススペック 0.9.0 病気または感覚を表す用語として使用される「パシー」 0.10.1 パッツィ 0.5.2
petastorm 0.12.1 ペキスペクト 4.8.0 フィック 0.12.3
ピクルシェア 0.7.5 9.0.1 21.2.4
プラットフォームディレクトリ 2.6.2 plotly - データビジュアライゼーションツール 5.6.0 プラグイン管理ツール 1.0.0
pmdarima 2.0.2 プレシェッド 3.0.8 prometheus-クライアント 0.13.1
prompt-toolkit(プロンプトツールキット) 3.0.20 預言者 1.1.1 プロトバフ 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval (ピュア・イヴァル) 0.2.2 pyarrow (パイアロー) 7.0.0 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.10.3 pycparser(パイシーパーサー) 2.21
Pythonのデータバリデーションライブラリ「pydantic」 1.10.2 パイフレークス 2.5.0 Pygments 2.11.2
PyGObject 3.36.0 PyJWT 2.6.0 PyMeeus 0.5.12
PyNaCl 1.5.0 pyodbc (Pythonのデータベース接続用ライブラリ) 4.0.32 パイパーシング (Pyparsing) 3.0.4
pyright 1.1.283 pyrsistent 0.18.0 python-dateutil (Python用の日付処理ライブラリ) 2.8.2
パイソンエディター 1.0.4 python-lsp-jsonrpc 1.0.0 Python LSP サーバー 1.6.0
pytz 2021年3月 PyWavelets 1.3.0 PyYAML 6.0
pyzmq 22.3.0 正規表現 2022/3/15 リクエスト 2.27.1
requests-oauthlib 1.3.1 requests-unixsocket 0.2.0 ロープ 0.22.0
RSA(アールエスエー) 4.7.2 s3transfer 0.5.0 scikit-learn(サイキット・ラーン) 1.0.2
scipy 1.7.3 seaborn(シーボーン) 0.11.2 Send2Trash(センド2トラッシュ) 1.8.0
setuptools(セットアップツール) 61.2.0 setuptools-git 1.2 シャープ 0.41.0
simplejson 3.17.6 6 1.16.0 スライサー 0.0.7
スマートオープン 5.2.1 smmap 5.0.0 スープこし器 (soup strainer) 2.3.1
spacy 3.4.4 spacy-legacy 3.0.12 スペーシー・ロガーズ 1.0.4
spark-tensorflow-distributor 1.0.0 sqlparse 0.4.2 まじで 2.4.5
ssh-import-id 5.10 スタックデータ 0.2.0 statsmodels(スタッツモデルズ) 0.13.2
一覧にする 0.8.9 「tangled」-up-in-ユニコード 0.2.0 粘り強さ 8.0.1
TensorBoard 2.11.2 テンソルボード・データサーバー 0.6.1 tensorboard-plugin-profile 2.11.1
テンソルボードプラグイン-WIT 1.8.1 tensorflow (CPU版) 2.11.0 tensorflow-estimatorツール 2.11.0
tensorflow-io-gcs-filesystem 0.30.0 termcolor 2.2.0 終了しました 0.13.1
テストパス (testpath) 0.5.0 thinc 8.1.7 Threadpoolctl 2.2.0
トークナイズ-RT 4.2.1 トークナイザー 0.13.2 tomli 1.2.2
電灯 1.13.1 + cpu torchvision 라이브러리 0.14.1+ cpu 竜巻 6.1
tqdm 4.64.0 traitlets(トレイトレット) 5.1.1 トランスフォーマー 4.25.1
タイプガード 2.13.3 typer 0.7.0 タイピングエクステンションズ (typing_extensions) 4.1.1
ujson 5.1.0 無人アップグレード 0.1 urllib3 1.26.9
virtualenv 20.8.0 ビジョン 0.7.5 わさび 0.10.1
wcwidth(文字の幅を測定するプログラム関数) 0.2.5 ウェブエンコーディングス 0.5.1 websocket-client (ウェブソケット・クライアント) 0.58.0
Werkzeug 2.0.3 whatthepatch(ホワットザパッチ) 1.0.4 車輪 0.37.1
ウィジェットNBエクステンション 3.6.1 包まれた 1.12.1 xgboost 1.7.2
yapf (ヤップフ) 0.31.0 ジップ 3.7.0

GPU クラスター上の Python ライブラリ

ライブラリ バージョン ライブラリ バージョン ライブラリ バージョン
absl-py 1.0.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
アスター 0.8.1 アストトークン 2.0.5 astunparse 1.6.3
属性 21.4.0 azure-core (アジュール コア) 1.26.3 azure-cosmos 4.2.0
バックコール (再発信機能) 0.2.0 バックポート.entry-points-selectable 1.2.0 bcrypt 3.2.0
beautifulsoup4 4.11.1 黒い 22.3.0 漂白剤 4.1.0
ブリス 0.7.9 boto3 1.21.32 botocore 1.24.32
キャッシュツールズ (cachetools) 4.2.2 カタログ 2.0.8 category-encoders (カテゴリーエンコーダー) 2.5.1.post0
サーティフィ 2021.10.8 cffi 1.15.0 チャーデット 4.0.0
charset-normalizer (文字コード正規化ツール) 2.0.4 クリックし 8.0.4 クラウドピックル 2.0.0
cmdstanpy 1.1.0 お菓子 0.0.4 configparser (コンフィグパーサー) 5.2.0
日付変換 2.4.0 暗号技術 3.4.8 サイクリスト 0.11.0
サイメム 2.0.7 Cython 0.29.28 databricks-automl-runtime(データブリックス・オートエムエル・ランタイム) 0.2.15
databricks-cli 0.17.4 databricks-feature-store 0.10.0 dbl-tempo 0.1.12
dbus-python 1.2.16 debugpy 1.5.1 デコレーター 5.1.1
デフューズドXML (defusedxml) 0.7.1 ディル 0.3.4 ディスクキャッシュ 5.4.0
distlib 0.3.6 ドックストリングをMarkdownに変換 0.11 入口点 0.4
エフェム 4.1.4 実行中 0.8.3 ファセット概要 1.0.0
fastjsonschema 2.16.2 fasttext(ファーストテキスト) 0.9.2 ファイルロック 3.6.0
フラスコ 1.1.2 フラットバッファーズ 23.1.21 fonttools(フォントツールズ) 4.25.0
fsspec 2022.2.0 未来 0.18.2 ガスト 0.4.0
ギットディービー 4.0.10 GitPython 3.1.27 google-auth(Google認証) 1.33.0
google-auth-oauthlib 0.4.6 グーグルパスタ 0.2.0 grpcio 1.42.0
ガニーコーン (gunicorn) 20.1.0 gviz-api 1.10.0 h5py 3.6.0
ヒジュリ変換器 2.2.4 休日 0.18 ホロヴォド 0.27.0
HTML最小化ツール(htmlmin) 0.1.12 huggingface-hub(ハギングフェイスのハブ) 0.12.0 idna 3.3
イメージハッシュ (ImageHash) 4.3.1 imbalanced-learn 0.10.1 importlib-metadata 4.11.3
ipykernel 6.15.3 ipython 8.5.0 ipython-genutils (IPython用のユーティリティ) 0.2.0
ipywidgets (インタラクティブウィジェット) 7.7.2 アイソデート 0.6.1 itsdangerous(イッツデンジャラス) 2.0.1
ジェダイ 0.18.1 ジンジャ2 2.11.3 jmespath 0.10.0
「joblib」 1.1.1 ジョブリブスパーク 0.5.1 JSONスキーマ 4.4.0
ジュピタークライアント 6.1.12 jupyter_core(ジュピター・コア) 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab ウィジェット 1.0.0 keras 2.11.0 キウィソルバー 1.3.2
韓国陰暦 0.3.1 言語コード 3.3.0 libclang 15.0.6.1
lightgbm 3.3.4 llvmlite 0.38.0 LunarCalendar 0.0.9
アオザメ 1.2.0 マークダウン 3.3.4 マークアップセーフ 2.0.1
matplotlib 3.5.1 matplotlib-インライン 0.1.2 マッケイブ 0.7.0
ミスチューン 0.8.4 mleap 0.20.0 mlflow-skinny 2.1.1
マルチメソッド 1.9.1 マーマーハッシュ (murmurhash) 1.0.9 mypy-extensions (マイパイ拡張機能) 0.4.3
nbclient(エヌビー・クライアント) 0.5.13 NBコンバート 6.4.4 nbフォーマット 5.3.0
nest-asyncio(ネスト・アサインキオ) 1.5.5 networkx 2.7.1 nltk 3.7
nodeenv 1.7.0 ノートブック 6.4.8 numba 0.55.1
NumPy (数値計算ライブラリ) 1.21.5 oauthlib 3.2.0 opt-einsum 3.3.0
パッケージング 21.3 パンダ 1.4.2 pandas-profiling(パンダスプロファイリング) 3.6.2
パンドックフィルターズ 1.5.0 paramiko 2.9.2 パルソ 0.8.3
パススペック 0.9.0 病気または感覚を表す用語として使用される「パシー」 0.10.1 パッツィ 0.5.2
petastorm 0.12.1 ペキスペクト 4.8.0 フィック 0.12.3
ピクルシェア 0.7.5 9.0.1 21.2.4
プラットフォームディレクトリ 2.6.2 plotly - データビジュアライゼーションツール 5.6.0 プラグイン管理ツール 1.0.0
pmdarima 2.0.2 プレシェッド 3.0.8 prompt-toolkit(プロンプトツールキット) 3.0.20
預言者 1.1.1 プロトバフ 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval (ピュア・イヴァル) 0.2.2
pyarrow (パイアロー) 7.0.0 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.10.3 pycparser(パイシーパーサー) 2.21 Pythonのデータバリデーションライブラリ「pydantic」 1.10.2
パイフレークス 2.5.0 Pygments 2.11.2 PyGObject 3.36.0
PyJWT 2.6.0 PyMeeus 0.5.12 PyNaCl 1.5.0
pyodbc (Pythonのデータベース接続用ライブラリ) 4.0.32 パイパーシング (Pyparsing) 3.0.4 pyright 1.1.283
pyrsistent 0.18.0 python-dateutil (Python用の日付処理ライブラリ) 2.8.2 パイソンエディター 1.0.4
python-lsp-jsonrpc 1.0.0 Python LSP サーバー 1.6.0 pytz 2021年3月
PyWavelets 1.3.0 PyYAML 6.0 pyzmq 22.3.0
正規表現 2022/3/15 リクエスト 2.27.1 requests-oauthlib 1.3.1
requests-unixsocket 0.2.0 ロープ 0.22.0 RSA(アールエスエー) 4.7.2
s3transfer 0.5.0 scikit-learn(サイキット・ラーン) 1.0.2 scipy 1.7.3
seaborn(シーボーン) 0.11.2 Send2Trash(センド2トラッシュ) 1.8.0 setuptools(セットアップツール) 61.2.0
setuptools-git 1.2 シャープ 0.41.0 simplejson 3.17.6
6 1.16.0 スライサー 0.0.7 スマートオープン 5.2.1
smmap 5.0.0 スープこし器 (soup strainer) 2.3.1 spacy 3.4.4
spacy-legacy 3.0.12 スペーシー・ロガーズ 1.0.4 spark-tensorflow-distributor 1.0.0
sqlparse 0.4.2 まじで 2.4.5 ssh-import-id 5.10
スタックデータ 0.2.0 statsmodels(スタッツモデルズ) 0.13.2 一覧にする 0.8.9
「tangled」-up-in-ユニコード 0.2.0 粘り強さ 8.0.1 TensorBoard 2.11.2
テンソルボード・データサーバー 0.6.1 tensorboard-plugin-profile 2.11.1 テンソルボードプラグイン-WIT 1.8.1
テンソルフロー 2.11.0 tensorflow-estimatorツール 2.11.0 tensorflow-io-gcs-filesystem 0.30.0
termcolor 2.2.0 終了しました 0.13.1 テストパス (testpath) 0.5.0
thinc 8.1.7 Threadpoolctl 2.2.0 トークナイズ-RT 4.2.1
トークナイザー 0.13.2 tomli 1.2.2 電灯 1.13.1+cu117
torchvision 라이브러리 0.14.1+cu117 竜巻 6.1 tqdm 4.64.0
traitlets(トレイトレット) 5.1.1 トランスフォーマー 4.25.1 タイプガード 2.13.3
typer 0.7.0 タイピングエクステンションズ (typing_extensions) 4.1.1 ujson 5.1.0
無人アップグレード 0.1 urllib3 1.26.9 virtualenv 20.8.0
ビジョン 0.7.5 わさび 0.10.1 wcwidth(文字の幅を測定するプログラム関数) 0.2.5
ウェブエンコーディングス 0.5.1 websocket-client (ウェブソケット・クライアント) 0.58.0 Werkzeug 2.0.3
whatthepatch(ホワットザパッチ) 1.0.4 車輪 0.37.1 ウィジェットNBエクステンション 3.6.1
包まれた 1.12.1 xgboost 1.7.2 yapf (ヤップフ) 0.31.0
ジップ 3.7.0

R ライブラリ

R ライブラリは、Databricks Runtime 12.2 LTS の R ライブラリと同じです。

Java と Scala のライブラリ (Scala 2.12 クラスター)

Databricks Runtime 12.2 LTS の Java ライブラリと Scala ライブラリに加え、Databricks Runtime 12.2 LTS ML には次の JAR が含まれています。

CPU クラスター

グループ ID 成果物 ID バージョン
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.1.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU クラスター

グループ ID 成果物 ID バージョン
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow mlflow-client 2.1.1
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0