Important
Databricks のサーバーレス GPU コンピューティングは ベータ版です。 ベータ期間中は、パッケージの一覧やインストールされているパッケージのバージョンなど、サポートされている環境の内容が変更される可能性があります。
この記事では、サーバーレス GPU 環境バージョン 3 のシステム環境情報について説明します。
アプリケーションの互換性を確保するために、サーバーレス GPU ワークロードでは、環境バージョンと呼ばれるバージョン管理された API が使用されます。これは、新しいサーバー バージョンとの互換性を維持します。
サーバーレス ノートブックの Environment サイド パネルを使用して、環境のバージョンを選択できます。 サーバーレス GPU コンピューティングの設定を参照してください。
新機能と機能強化
サーバーレス GPU 環境 3 は、サーバーレス環境 3 (CPU) 上に構築されています。 サーバーレス環境 3 (CPU) の新機能をご覧ください。
既知の問題
トランスフォーマーをインポートするときの Threadpoolctl ライブラリの警告
transformers ライブラリをインポートすると、次のエラー メッセージが表示されることがあります。 これは、サーバーレス GPU 環境 3 の threadpoolctl ライブラリに関する既知の問題です。
Exception ignored on calling ctypes callback function: <function _ThreadpoolInfo._find_modules_with_dl_iterate_phdr.<locals>.match_module_callback at 0x7fe29c7da8e0>
Traceback (most recent call last):
File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 400, in match_module_callback
self._make_module_from_path(filepath)
File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 515, in _make_module_from_path
module = module_class(filepath, prefix, user_api, internal_api)
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 606, in __init__
self.version = self.get_version()
^^^^^^^^^^^^^^^^^^
File "/databricks/python/lib/python3.12/site-packages/threadpoolctl.py", line 646, in get_version
config = get_config().split()
^^^^^^^^^^^^^^^^^^
AttributeError: 'NoneType' object has no attribute 'split'
この問題を解決するには、 サーバーレス GPU 環境 4 にアップグレードするか、 threadpoolctl ライブラリをアップグレードします。
pip install threadpoolctl==3.1.0
システム環境
- オペレーティング システム: Ubuntu 24.04.2 LTS
- Python: 3.12.3
- Databricks Connect: 16.4.2
- NVIDIA CUDA Toolkit: 12.4
インストールされている Python ライブラリ
サーバーレス環境 3 (CPU) に含まれるものに加えて、サーバーレス GPU 環境 3 には次のものが含まれます。
torch 2.6.0torchvision 0.21.0
ローカルの Python 仮想環境でサーバーレス GPU 環境 3 を再現するには、 requirements-env-gpu-3.txt ファイルをダウンロードし、 pip install -r requirements-env-gpu-3.txt実行します。 このコマンドは、サーバーレス GPU 環境 3 のすべてのオープン ソース ライブラリをインストールします。
| 図書館 | バージョン | 図書館 | バージョン | 図書館 | バージョン |
|---|---|---|---|---|---|
| 注釈付き型 | 0.7.0 | anyio | 4.2.0 | アストトークン | 2.0.5 |
| astunparse | 1.6.3 | azure-core (アジュール コア) | 1.33.0 | アジュール・ストレージ・ブロブ | 12.23.0 |
| azure-storage-file-datalake（アジュールストレージファイルデータレイク） | 12.17.0 | 黒い | 24.4.2 | ウインカー | 1.7.0 |
| boto3 | 1.34.69 | botocore | 1.34.69 | キャッシュツールズ (cachetools) | 5.3.3 |
| サーティフィ | 2024年6月2日 | cffi | 1.16.0 | チャーデット | 4.0.0 |
| charset-normalizer (文字コード正規化ツール) | 2.0.4 | click | 8.1.7 | クラウドピックル | 3.0.0 |
| comm | 0.2.1 | コンツアーピー | 1.2.0 | 暗号 | 42.0.5 |
| サイクリスト | 0.11.0 | Cython | 3.0.11 | databricks-connect (データブリックス・コネクト) | 16.4.4 |
| databricks-sdk（データブリックスSDK） | 0.49.0 | databricks.serverless_gpu | 0.5.3 | dbus-python | 1.3.2 |
| debugpy | 1.6.7 | デコレータ | 5.1.1 | Deprecated | 1.2.18 |
| ディル | 0.3.8 | distlib | 0.3.8 | 実行中 | 0.8.3 |
| ファセット概要 | 1.1.1 | fastapi | 0.115.12 | ファイルロック | 3.13.1 |
| fonttools（フォントツールズ） | 4.51.0 | fsspec | 2024.3.1 | 未来 | 1.0.0 |
| ギットディービー | 4.0.11 | GitPython | 3.1.37 | google-api-core | 2.20.0 |
| google-auth（Google認証） | 2.38.0 | グーグルクラウドコア | 2.4.3 | Googleクラウドストレージ | 3.1.0 |
| google-crc32c（GoogleのCRC32Cライブラリ） | 1.7.1 | google-resumable-media（Googleの継続可能なメディアライブラリ） | 2.7.2 | Google API 共通プロトコル (googleapis-common-protos) | 1.69.2 |
| grpcio | 1.71.0 | grpcio-status | 1.71.0 | h11 | 0.14.0 |
| httplib2 | 0.20.4 | idna | 3.7 | importlib-metadata | 7.0.1 |
| iniconfig | 1.1.1 | ipyflow-core | 0.0.206 | ipykernel | 6.29.5 |
| ipython | 8.32.0 | ipython-genutils (IPython用のユーティリティ) | 0.2.0 | ipywidgets | 7.7.2 |
| アイソデート | 0.7.2 | ジェダイ | 0.19.1 | ジンジャ2 | 3.1.4 |
| jmespath | 1.0.1 | 「joblib」 | 1.4.2 | jupyter_client | 8.6.0 |
| jupyter_core（ジュピター・コア） | 5.7.2 | キウィソルバー | 1.4.4 | launchpadlib | 1.11.0 |
| lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | MarkupSafe | 2.1.3 |
| matplotlib | 3.8.4 | matplotlib-インライン | 0.1.6 | mlflow-skinny | 2.21.3 |
| mpmath | 1.3.0 | mypy-extensions (マイパイ拡張機能) | 1.0.0 | nest-asyncio（ネスト・アサインキオ） | 1.6.0 |
| networkx | 3.2.1 | NumPy (数値計算ライブラリ) | 1.26.4 | nvidia-cublas-cu12 | 12.4.5.8 |
| nvidia-cuda-cupti-cu12 | 12.4.127 | nvidia-cuda-nvrtc-cu12 | 12.4.127 | nvidia-cuda-runtime-cu12 | 12.4.127 |
| nvidia-cudnn-cu12 | 9.1.0.70 | nvidia-cufft-cu12 | 11.2.1.3 | nvidia-curand-cu12 | 10.3.5.147 |
| nvidia-cusolver-cu12 | 11.6.1.9 | nvidia-cusparse-cu12 | 12.3.1.170 | nvidia-cusparselt-cu12 | 0.6.2 |
| nvidia-nccl-cu12 | 2.21.5 | nvidia-nvjitlink-cu12 | 12.4.127 | nvidia-nvtx-cu12 | 12.4.127 |
| oauthlib | 3.2.2 | opentelemetry-api | 1.31.1 | opentelemetry-sdk (OpenTelemetry ソフトウェア開発キット) | 1.31.1 |
| OpenTelemetryセマンティック規約 | 0.52b1 | 包装 | 24.1 | パンダ | 1.5.3 |
| parambench-train-comms | 0.0.0 | パルソ | 0.8.3 | pathspec | 0.10.3 |
| パッツィ | 0.5.6 | ペキスペクト | 4.8.0 | pillow | 10.3.0 |
| pip | 25.0.1 | プラットフォームディレクトリ | 3.10.0 | plotly | 5.22.0 |
| pluggy | 1.5.0 | prompt-toolkit（プロンプトツールキット） | 3.0.43 | proto-plus | 1.26.1 |
| プロトバフ | 5.29.4 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval (ピュア・イヴァル) | 0.2.2 | py4j | 0.10.9.9 |
| pyarrow (パイアロー) | 15.0.2 | pyarrow-hotfix | 0.6 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | ピッコロ | 0.0.68 | pycparser（パイシーパーサー） | 2.21 |
| Pythonのデータバリデーションライブラリ「pydantic」 | 2.8.2 | pydantic_core | 2.20.1 | pydot | 3.0.4 |
| パイグメンツ | 2.15.1 | PyGObject | 3.48.2 | PyJWT | 2.7.0 |
| pyodbc | 5.0.1 | パイパーシング (Pyparsing) | 3.0.9 | pyspark | 3.5.2+databricks.connect.16.4.2 |
| pytest | 8.3.0 | python-dateutil (Python用の日付処理ライブラリ) | 2.9.0.post0 | python-lsp-jsonrpc | 1.1.2 |
| pytz | 2024.1 | PyYAML | 6.0.1 | pyzmq | 25.1.2 |
| リクエスト | 2.32.2 | RSA（アールエスエー） | 4.9 | s3transfer | 0.10.4 |
| scikit-learn（サイキット・ラーン） | 1.4.2 | scipy | 1.13.1 | seaborn（シーボーン） | 0.13.2 |
| setuptools（セットアップツール） | 69.5.1 | 6 | 1.16.0 | smmap | 5.0.0 |
| スニフィオ | 1.3.0 | sqlparse | 0.5.3 | ssh-import-id | 5.11 |
| スタックデータ | 0.2.0 | スターレット | 0.46.1 | statsmodels（スタッツモデルズ） | 0.14.2 |
| sympy (ライブラリ) | 1.13.1 | 粘り強さ | 8.2.2 | Threadpoolctl | 2.2.0 |
| トークナイズ-RT | 4.2.1 | 電灯 | 2.6.0+cu124 | torchvision 라이브러리 | 0.21.0+cu124 |
| 竜巻 | 6.4.1 | traitlets（トレイトレット） | 5.14.3 | トライトン | 3.2.0 |
| タイピングエクステンションズ (typing_extensions) | 4.12.1 | tzdata | 2024.1 | ujson | 5.10.0 |
| unattended-upgrades | 0.1 | urllib3 | 2.2.2 | uvicorn | 0.34.0 |
| virtualenv | 20.29.2 | wadllib | 1.3.6 | wcwidth（文字の幅を測定するプログラム関数） | 0.2.5 |
| ホイール | 0.45.1 | wrapt | 1.14.1 | ジップ | 3.17.0 |
| zstandard | 0.23.0 |