注
この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。
Databricks Runtime 11.3 LTS for Machine Learning は、Databricks Runtime 11.3 LTS (EoS) に基づく機械学習とデータ サイエンス用のすぐに使える環境を提供します。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。 Databricks Runtime ML には、機械学習パイプラインを自動的にトレーニングするツールである AutoML が含まれています。 また、Databricks Runtime ML では、Horovod を使用した分散型ディープ ラーニング トレーニングもサポートされます。
注
LTS は、このバージョンが 長期的にサポートされていることを意味します。 Databricks Runtime LTS バージョンのライフサイクルに関する記事を参照してください。
Databricks Runtime ML クラスターを作成する手順などの詳細については、「Databricks での AI と機械学習」を参照してください。
新機能と機能強化
Databricks Runtime 11.3 LTS ML は、Databricks Runtime 11.3 LTS 上に構築されています。 Apache Spark MLlib や SparkR など、Databricks Runtime 11.3 LTS の新機能については、 Databricks Runtime 11.3 LTS (EoS) のリリース ノートを参照してください。
AutoML の機能強化
AutoML では、AutoML 実験での既存の Feature Store 機能テーブルの使用がサポートされるようになりました。 詳細については、「 AutoML Feature Store の統合」を参照してください。
AutoML によって生成された試用版ノートブックに、ユーザーがハイパーパラメーターのチューニングを再実行できるようにするコード スニペットが含まれるようになりました。
AutoML では、 DecimalType 機能がサポートされるようになりました。
バグの修正
Databricks Runtime 11.3 LTS ML には、アップグレードされたバージョンの sparkdl.xgboostが含まれています。 以前のバージョンの sparkdl.xgboost には、このリリースで修正されたバグが含まれているため、Databricks では、ライブラリのユーザーが Databricks Runtime 11.3 LTS ML にアップグレードすることをお勧めします。
今後のリリースに備える
Databricks Runtime ML の今後のリリースには、 sklearn バージョン 1.0 が含まれます。 この変更に備える方法については、 sklearnドキュメント を参照してください。
Databricks Runtime ML には、2 つの openblas パッケージが含まれています。
/opt/OpenBLAS パッケージは Databricks Runtime 11.3 LTS ML では非推奨となり、今後のリリースで削除される予定です。
システム環境
Databricks Runtime 11.3 LTS ML のシステム環境は、Databricks Runtime 11.3 LTS と次のように異なります。
-
DBUtils: Databricks Runtime ML には、ライブラリ ユーティリティ (dbutils.library) (レガシ) が含まれていません。
代わりに
%pipコマンドを使用してください。 「ノートブック スコープの Python ライブラリ」を参照してください。 - GPU クラスターの場合、Databricks Runtime ML には次の NVIDIA GPU ライブラリが含まれています。
- CUDA 11.3
- cuDNN 8.0.5.39
- NCCL 2.9.9
- TensorRT 7.2.2
Databricks Runtime 11.3 LTS ML には XGBoost 1.6.1 が含まれています。これは、 コンピューティング機能 5.2 以下の GPU クラスターをサポートしていません。
Libraries
次のセクションでは、Databricks Runtime 11.3 LTS ML に含まれているライブラリで、Databricks Runtime 11.3 LTS に含まれていないものの一覧を示します。
このセクションの内容は次のとおりです。
最上位層ライブラリ
Databricks Runtime 11.3 LTS ML には、次の最上位レベル のライブラリが含まれています。
- GraphFrames
- Horovod と HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- TensorFlow
- TensorBoard
- Scikit-learn
Python ライブラリ
Databricks Runtime 11.3 LTS ML では、Python パッケージ管理に Virtualenv が使用され、多くの一般的な ML パッケージが含まれています。
Databricks Runtime 11.3 LTS ML には、次のセクションで指定したパッケージに加えて、次のパッケージも含まれています。
- hyperopt 0.2.7.db1
- sparkdl 2.3.0-db3
- feature_store 0.7.0
- automl 1.13.2
ローカルの Python 仮想環境で Databricks Runtime ML Python 環境を再現するには、 requirements-11.3.txt ファイルをダウンロードし、 pip install -r requirements-11.3.txt実行します。 このコマンドは、Databricks Runtime ML が使用するすべてのオープン ソース ライブラリをインストールしますが、databricks-automl、databricks-feature-store、hyperopt の Databricks フォークなど、Databricks によって開発されたライブラリはインストールしません。
CPU クラスター上の Python ライブラリ
| 図書館 | バージョン | 図書館 | バージョン | 図書館 | バージョン |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | argon2-cffi | 20.1.0 | アスター | 0.8.1 |
| astunparse | 1.6.3 | async-generator (非同期ジェネレーター) | 1.10 | 属性 | 21.2.0 |
| azure-core (アジュール コア) | 1.22.1 | azure-cosmos | 4.2.0 | バックコール (再発信機能) | 0.2.0 |
| バックポート.entry-points-selectable | 1.1.1 | bcrypt | 4.0.0 | 黒い | 22.3.0 |
| 漂白剤 | 4.0.0 | ブリス | 0.7.8 | boto3 | 1.21.18 |
| botocore | 1.24.18 | キャッシュツールズ (cachetools) | 5.2.0 | カタログ | 2.0.8 |
| サーティフィ | 2021.10.8 | cffi | 1.14.6 | チャーデット | 4.0.0 |
| charset-normalizer (文字コード正規化ツール) | 2.0.4 | click | 8.0.3 | クラウドピックル | 2.0.0 |
| cmdstanpy | 0.9.68 | お菓子 | 0.0.1 | configparser (コンフィグパーサー) | 5.2.0 |
| 日付変換 | 2.4.0 | 暗号 | 3.4.8 | サイクリスト | 0.10.0 |
| サイメム | 2.0.6 | Cython | 0.29.24 | databricks-automl-runtime（データブリックス・オートエムエル・ランタイム） | 0.2.11 |
| databricks-cli | 0.17.3 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| debugpy | 1.4.1 | デコレータ | 5.1.0 | デフューズドXML (defusedxml) | 0.7.1 |
| ディル | 0.3.4 | ディスクキャッシュ | 5.4.0 | distlib | 0.3.6 |
| 入口点 | 0.3 | エフェム | 4.1.3 | ファセットの概要 | 1.0.0 |
| fasttext（ファーストテキスト） | 0.9.2 | ファイルロック | 3.3.1 | Flask | 1.1.2 |
| フラットバッファーズ | 1.12 | fsspec | ２０２１年８月１日 | 未来 | 0.18.2 |
| ガスト | 0.4.0 | ギットディービー | 4.0.9 | GitPython | 3.1.27 |
| google-auth（Google認証） | 2.6.0 | google-auth-oauthlib | 0.4.6 | グーグルパスタ | 0.2.0 |
| grpcio | 1.44.0 | ガニーコーン (gunicorn) | 20.1.0 | gviz-api | 1.10.0 |
| h5py | 3.3.0 | ヒジュリ変換器 | 2.2.4 | holidays | 0.15 |
| horovod | 0.25.0 | HTML最小化ツール（htmlmin） | 0.1.12 | huggingface-hub（ハギングフェイスのハブ） | 0.9.1 |
| idna | 3.2 | イメージハッシュ (ImageHash) | 4.3.0 | imbalanced-learn（不均衡データに対応するための機械学習ライブラリ） | 0.8.1 |
| importlib-metadata | 4.8.1 | ipykernel | 6.12.1 | ipython | 7.32.0 |
| ipython-genutils (IPython用のユーティリティ) | 0.2.0 | ipywidgets | 7.7.0 | アイソデート | 0.6.1 |
| itsdangerous（イッツデンジャラス） | 2.0.1 | ジェダイ | 0.18.0 | ジンジャ2 | 2.11.3 |
| jmespath | 0.10.0 | 「joblib」 | 1.0.1 | ジョブリブスパーク | 0.5.0 |
| JSONスキーマ | 3.2.0 | ジュピタークライアント | 6.1.12 | ジュピター・コア | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab ウィジェット | 1.0.0 | keras | 2.9.0 |
| Keras-Preprocessing | 1.1.2 | キウィソルバー | 1.3.1 | 韓国陰暦 | 0.3.1 |
| 言語コード | 3.3.0 | libclang | 14.0.6 | LightGBM | 3.3.2 |
| llvmlite | 0.37.0 | LunarCalendar | 0.0.9 | Mako | 1.2.0 |
| Markdown | 3.3.6 | MarkupSafe | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-インライン | 0.1.2 | missingno | 0.5.1 | mistune | 0.8.4 |
| mleap | 0.20.0 | mlflow-skinny | 1.29.0 | マルチメソッド | 1.9 |
| マーマーハッシュ (murmurhash) | 1.0.8 | mypy-extensions (マイパイ拡張機能) | 0.4.3 | nbclient（エヌビー・クライアント） | 0.5.3 |
| NBコンバート | 6.1.0 | nbフォーマット | 5.1.3 | nest-asyncio（ネスト・アサインキオ） | 1.5.1 |
| networkx | 2.6.3 | nltk | 3.6.5 | ノートブック | 6.4.5 |
| numba | 0.54.1 | NumPy (数値計算ライブラリ) | 1.20.3 | oauthlib | 3.2.0 |
| opt-einsum | 3.3.0 | 包装 | 21.0 | パンダ | 1.3.4 |
| pandas-profiling（パンダスプロファイリング） | 3.1.0 | パンドックフィルターズ | 1.4.3 | paramiko | 2.9.2 |
| パルソ | 0.8.2 | pathspec | 0.9.0 | 病気または感覚を表す用語として使用される「パシー」 | 0.6.2 |
| パッツィ | 0.5.2 | petastorm | 0.11.4 | ペキスペクト | 4.8.0 |
| フィック | 0.12.2 | ピクルシェア | 0.7.5 | 枕 | 8.4.0 |
| pip | 21.2.4 | プラットフォームディレクトリ | 2.5.2 | plotly | 5.9.0 |
| pmdarima | 1.8.5 | プレシェッド | 3.0.7 | prometheus-クライアント | 0.11.0 |
| prompt-toolkit（プロンプトツールキット） | 3.0.20 | 預言者 | 1.0.1 | プロトバフ | 3.19.4 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pyarrow (パイアロー) | 7.0.0 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.10.0 | pycparser（パイシーパーサー） | 2.20 | Pythonのデータバリデーションライブラリ「pydantic」 | 1.9.2 |
| パイグメンツ | 2.10.0 | PyGObject | 3.36.0 | PyJWT | 2.5.0 |
| PyMeeus | 0.5.11 | PyNaCl | 1.5.0 | pyodbc | 4.0.31 |
| パイパーシング (Pyparsing) | 3.0.4 | pyrsistent | 0.18.0 | pystan | 2.19.1.1 |
| python-dateutil (Python用の日付処理ライブラリ) | 2.8.2 | パイソンエディター | 1.0.4 | pytz | 2021年3月 |
| PyWavelets | 1.1.1 | PyYAML | 6.0 | pyzmq | 22.2.1 |
| RegEx | 2021.8.3 | リクエスト | 2.26.0 | requests-oauthlib | 1.3.1 |
| requests-unixsocket | 0.2.0 | RSA（アールエスエー） | 4.9 | s3transfer | 0.5.2 |
| scikit-learn（サイキット・ラーン） | 0.24.2 | scipy | 1.7.1 | seaborn（シーボーン） | 0.11.3 |
| Send2Trash(センド2トラッシュ) | 1.8.0 | setuptools（セットアップツール） | 58.0.4 | setuptools-git | 1.2 |
| シャープ | 0.41.0 | simplejson | 3.17.6 | 6 | 1.16.0 |
| スライサー | 0.0.7 | スマートオープン | 5.2.1 | smmap | 5.0.0 |
| spacy | 3.4.1 | spacy-legacy | 3.0.10 | スペーシー・ロガーズ | 1.0.3 |
| spark-tensorflow-distributor | 1.0.0 | sqlparse | 0.4.2 | srsly | 2.4.4 |
| ssh-import-id | 5.10 | statsmodels（スタッツモデルズ） | 0.12.2 | 一覧にする | 0.8.9 |
| 「tangled」-up-in-ユニコード | 0.1.0 | 粘り強さ | 8.0.1 | TensorBoard | 2.9.1 |
| テンソルボード・データサーバー | 0.6.1 | tensorboard-plugin-profile | 2.8.0 | テンソルボードプラグイン-WIT | 1.8.1 |
| tensorflow (CPU版) | 2.9.1 | tensorflow-estimatorツール | 2.9.0 | tensorflow-io-gcs-filesystem | 0.27.0 |
| termcolor | 2.0.1 | 終了しました | 0.9.4 | テストパス (testpath) | 0.5.0 |
| thinc | 8.1.2 | Threadpoolctl | 2.2.0 | トークナイズ-RT | 4.2.1 |
| トークナイザー | 0.12.1 | tomli | 2.0.1 | 電灯 | 1.12.1 + cpu |
| torchvision 라이브러리 | 0.13.1+ cpu | 竜巻 | 6.1 | tqdm | 4.62.3 |
| traitlets（トレイトレット） | 5.1.0 | トランスフォーマー | 4.21.2 | typer | 0.4.2 |
| タイピング拡張 | 3.10.0.2 | ujson | 4.0.2 | unattended-upgrades | 0.1 |
| urllib3 | 1.26.7 | virtualenv | 20.8.0 | ビジョン | 0.7.4 |
| わさび | 0.10.1 | wcwidth（文字の幅を測定するプログラム関数） | 0.2.5 | ウェブエンコーディングス | 0.5.1 |
| websocket-client (ウェブソケット・クライアント) | 1.3.1 | Werkzeug | 2.0.2 | ホイール | 0.37.0 |
| ウィジェットNBエクステンション | 3.6.0 | wrapt | 1.12.1 | xgboost | 1.6.2 |
| ジップ | 3.6.0 |
GPU クラスター上の Python ライブラリ
| 図書館 | バージョン | 図書館 | バージョン | 図書館 | バージョン |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | argon2-cffi | 20.1.0 | アスター | 0.8.1 |
| astunparse | 1.6.3 | async-generator (非同期ジェネレーター) | 1.10 | 属性 | 21.2.0 |
| azure-core (アジュール コア) | 1.22.1 | azure-cosmos | 4.2.0 | バックコール (再発信機能) | 0.2.0 |
| バックポート.entry-points-selectable | 1.1.1 | bcrypt | 4.0.0 | 黒い | 22.3.0 |
| 漂白剤 | 4.0.0 | ブリス | 0.7.8 | boto3 | 1.21.18 |
| botocore | 1.24.18 | キャッシュツールズ (cachetools) | 5.2.0 | カタログ | 2.0.8 |
| サーティフィ | 2021.10.8 | cffi | 1.14.6 | チャーデット | 4.0.0 |
| charset-normalizer (文字コード正規化ツール) | 2.0.4 | click | 8.0.3 | クラウドピックル | 2.0.0 |
| cmdstanpy | 0.9.68 | お菓子 | 0.0.1 | configparser (コンフィグパーサー) | 5.2.0 |
| 日付変換 | 2.4.0 | 暗号 | 3.4.8 | サイクリスト | 0.10.0 |
| サイメム | 2.0.6 | Cython | 0.29.24 | databricks-automl-runtime（データブリックス・オートエムエル・ランタイム） | 0.2.11 |
| databricks-cli | 0.17.3 | dbl-tempo | 0.1.12 | dbus-python | 1.2.16 |
| debugpy | 1.4.1 | デコレータ | 5.1.0 | デフューズドXML (defusedxml) | 0.7.1 |
| ディル | 0.3.4 | ディスクキャッシュ | 5.4.0 | distlib | 0.3.6 |
| 入口点 | 0.3 | エフェム | 4.1.3 | ファセットの概要 | 1.0.0 |
| fasttext（ファーストテキスト） | 0.9.2 | ファイルロック | 3.3.1 | Flask | 1.1.2 |
| フラットバッファーズ | 1.12 | fsspec | ２０２１年８月１日 | 未来 | 0.18.2 |
| ガスト | 0.4.0 | ギットディービー | 4.0.9 | GitPython | 3.1.27 |
| google-auth（Google認証） | 2.6.0 | google-auth-oauthlib | 0.4.6 | グーグルパスタ | 0.2.0 |
| grpcio | 1.44.0 | ガニーコーン (gunicorn) | 20.1.0 | gviz-api | 1.10.0 |
| h5py | 3.3.0 | ヒジュリ変換器 | 2.2.4 | holidays | 0.15 |
| horovod | 0.25.0 | HTML最小化ツール（htmlmin） | 0.1.12 | huggingface-hub（ハギングフェイスのハブ） | 0.9.1 |
| idna | 3.2 | イメージハッシュ (ImageHash) | 4.3.0 | imbalanced-learn（不均衡データに対応するための機械学習ライブラリ） | 0.8.1 |
| importlib-metadata | 4.8.1 | ipykernel | 6.12.1 | ipython | 7.32.0 |
| ipython-genutils (IPython用のユーティリティ) | 0.2.0 | ipywidgets | 7.7.0 | アイソデート | 0.6.1 |
| itsdangerous（イッツデンジャラス） | 2.0.1 | ジェダイ | 0.18.0 | ジンジャ2 | 2.11.3 |
| jmespath | 0.10.0 | 「joblib」 | 1.0.1 | ジョブリブスパーク | 0.5.0 |
| JSONスキーマ | 3.2.0 | ジュピタークライアント | 6.1.12 | ジュピター・コア | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab ウィジェット | 1.0.0 | keras | 2.9.0 |
| Keras-Preprocessing | 1.1.2 | キウィソルバー | 1.3.1 | 韓国陰暦 | 0.3.1 |
| 言語コード | 3.3.0 | libclang | 14.0.6 | LightGBM | 3.3.2 |
| llvmlite | 0.37.0 | LunarCalendar | 0.0.9 | Mako | 1.2.0 |
| Markdown | 3.3.6 | MarkupSafe | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-インライン | 0.1.2 | missingno | 0.5.1 | mistune | 0.8.4 |
| mleap | 0.20.0 | mlflow-skinny | 1.29.0 | マルチメソッド | 1.9 |
| マーマーハッシュ (murmurhash) | 1.0.8 | mypy-extensions (マイパイ拡張機能) | 0.4.3 | nbclient（エヌビー・クライアント） | 0.5.3 |
| NBコンバート | 6.1.0 | nbフォーマット | 5.1.3 | nest-asyncio（ネスト・アサインキオ） | 1.5.1 |
| networkx | 2.6.3 | nltk | 3.6.5 | ノートブック | 6.4.5 |
| numba | 0.54.1 | NumPy (数値計算ライブラリ) | 1.20.3 | oauthlib | 3.2.0 |
| opt-einsum | 3.3.0 | 包装 | 21.0 | パンダ | 1.3.4 |
| pandas-profiling（パンダスプロファイリング） | 3.1.0 | パンドックフィルターズ | 1.4.3 | paramiko | 2.9.2 |
| パルソ | 0.8.2 | pathspec | 0.9.0 | 病気または感覚を表す用語として使用される「パシー」 | 0.6.2 |
| パッツィ | 0.5.2 | petastorm | 0.11.4 | ペキスペクト | 4.8.0 |
| フィック | 0.12.2 | ピクルシェア | 0.7.5 | 枕 | 8.4.0 |
| pip | 21.2.4 | プラットフォームディレクトリ | 2.5.2 | plotly | 5.9.0 |
| pmdarima | 1.8.5 | プレシェッド | 3.0.7 | prompt-toolkit（プロンプトツールキット） | 3.0.20 |
| 預言者 | 1.0.1 | プロトバフ | 3.19.4 | psutil | 5.8.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pyarrow (パイアロー) | 7.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pybind11 | 2.10.0 |
| pycparser（パイシーパーサー） | 2.20 | Pythonのデータバリデーションライブラリ「pydantic」 | 1.9.2 | パイグメンツ | 2.10.0 |
| PyGObject | 3.36.0 | PyJWT | 2.5.0 | PyMeeus | 0.5.11 |
| PyNaCl | 1.5.0 | pyodbc | 4.0.31 | パイパーシング (Pyparsing) | 3.0.4 |
| pyrsistent | 0.18.0 | pystan | 2.19.1.1 | python-dateutil (Python用の日付処理ライブラリ) | 2.8.2 |
| パイソンエディター | 1.0.4 | pytz | 2021年3月 | PyWavelets | 1.1.1 |
| PyYAML | 6.0 | pyzmq | 22.2.1 | RegEx | 2021.8.3 |
| リクエスト | 2.26.0 | requests-oauthlib | 1.3.1 | requests-unixsocket | 0.2.0 |
| RSA（アールエスエー） | 4.9 | s3transfer | 0.5.2 | scikit-learn（サイキット・ラーン） | 0.24.2 |
| scipy | 1.7.1 | seaborn（シーボーン） | 0.11.3 | Send2Trash(センド2トラッシュ) | 1.8.0 |
| setuptools（セットアップツール） | 58.0.4 | setuptools-git | 1.2 | シャープ | 0.41.0 |
| simplejson | 3.17.6 | 6 | 1.16.0 | スライサー | 0.0.7 |
| スマートオープン | 5.2.1 | smmap | 5.0.0 | spacy | 3.4.1 |
| spacy-legacy | 3.0.10 | スペーシー・ロガーズ | 1.0.3 | spark-tensorflow-distributor | 1.0.0 |
| sqlparse | 0.4.2 | srsly | 2.4.4 | ssh-import-id | 5.10 |
| statsmodels（スタッツモデルズ） | 0.12.2 | 一覧にする | 0.8.9 | 「tangled」-up-in-ユニコード | 0.1.0 |
| 粘り強さ | 8.0.1 | TensorBoard | 2.9.1 | テンソルボード・データサーバー | 0.6.1 |
| tensorboard-plugin-profile | 2.8.0 | テンソルボードプラグイン-WIT | 1.8.1 | tensorflow | 2.9.1 |
| tensorflow-estimatorツール | 2.9.0 | tensorflow-io-gcs-filesystem | 0.27.0 | termcolor | 2.0.1 |
| 終了しました | 0.9.4 | テストパス (testpath) | 0.5.0 | thinc | 8.1.2 |
| Threadpoolctl | 2.2.0 | トークナイズ-RT | 4.2.1 | トークナイザー | 0.12.1 |
| tomli | 2.0.1 | 電灯 | 1.12.1+cu113 | torchvision 라이브러리 | 0.13.1+cu113 |
| 竜巻 | 6.1 | tqdm | 4.62.3 | traitlets（トレイトレット） | 5.1.0 |
| トランスフォーマー | 4.21.2 | typer | 0.4.2 | タイピング拡張 | 3.10.0.2 |
| ujson | 4.0.2 | unattended-upgrades | 0.1 | urllib3 | 1.26.7 |
| virtualenv | 20.8.0 | ビジョン | 0.7.4 | わさび | 0.10.1 |
| wcwidth（文字の幅を測定するプログラム関数） | 0.2.5 | ウェブエンコーディングス | 0.5.1 | websocket-client (ウェブソケット・クライアント) | 1.3.1 |
| Werkzeug | 2.0.2 | ホイール | 0.37.0 | ウィジェットNBエクステンション | 3.6.0 |
| wrapt | 1.12.1 | xgboost | 1.6.2 | ジップ | 3.6.0 |
R ライブラリ
R ライブラリは、Databricks Runtime 11.3 LTS の R ライブラリ と同じです。
Java と Scala のライブラリ (Scala 2.12 クラスター)
Databricks Runtime 11.3 LTS の Java および Scala ライブラリに加えて、Databricks Runtime 11.3 LTS ML には次の JAR が含まれています。
CPU クラスター
| グループ識別子 | アーティファクト ID | バージョン |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.6.2 |
| ml.dmlc | xgboost4j_2.12 | 1.6.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.29.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU クラスター
| グループ識別子 | アーティファクト ID | バージョン |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db1 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.6.2 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.6.2 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.29.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |