Compartilhar via

Databricks Runtime 14.3 LTS para Machine Learning

O Databricks Runtime 14.3 LTS para Machine Learning fornece um ambiente pronto para uso no aprendizado de máquina e ciência de dados com base no Databricks Runtime 14.3 LTS. O Databricks Runtime ML contém muitas bibliotecas de aprendizado de máquina populares, inclusive TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinamento automático de pipelines de aprendizado de máquina. O Databricks Runtime ML também oferece suporte ao treinamento de aprendizado profundo distribuído com o uso do Horovod.

Observação

LTS significa que essa versão possui suporte de longo prazo. Consulte Ciclo de vida da versão de LTS do Databricks Runtime.

Dica

Para ver as notas sobre a versão das versões do Databricks Runtime que chegaram ao fim do suporte (EoS), confira Notas sobre as versões do Databricks Runtime em fim de suporte. As versões do Databricks Runtime EoS foram desativadas e podem não ser atualizadas.

Novos recursos e aprimoramentos

O Databricks Runtime 14.3 LTS para ML foi criado com base no Databricks Runtime 14.3 LTS. Para obter informações sobre as novidades no Databricks Runtime 14.3 LTS, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 14.3 LTS .

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 14.3 LTS para ML difere do Databricks Runtime 14.3 LTS nestes pontos:

  • Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
    • CUDA 11.8
    • cuDNN 8.9.0.131-1
    • NCCL 2.15.5
    • TensorRT 8.5.3-1

O Databricks Runtime 14.3 LTS para ML inclui o XGBoost 1.7.6, que não tem suporte para os clusters de GPU com capacidade de computação de 5.2 e inferior.

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 14.3 LTS para ML que diferem daquelas incluídas no Databricks Runtime 14.3 LTS.

Nesta seção:

Bibliotecas de camada superior

O Databricks Runtime 14.3 LTS para ML inclui as seguintes bibliotecas de nível superior:

Bibliotecas do Python

O Databricks Runtime 14.3 ML usa o virtualenv para o gerenciamento de pacotes Python e inclui vários pacotes populares de ML.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 14.3 LTS para ML também inclui os seguintes pacotes:

  • hyperopt 0.2.7+db4
  • 3.0.0_db1 sparkdl
  • automl 1.24.0

Para reproduzir o ambiente Python do Databricks Runtime ML no ambiente virtual Python local, baixe o arquivo requirements-14.3.txt e execute pip install -r requirements-14.3.txt. Esse comando instala todas as bibliotecas código aberto que o Databricks Runtime ML usa, mas não instala bibliotecas desenvolvidas pelo Databricks, como databricks-automl, databricks-feature-store, ou o fork do Databricks de hyperopt.

Bibliotecas do Python em clusters de CPU

Biblioteca Versão Biblioteca Versão Biblioteca Versão
absl-py 1.0.0 acelerar 0.25.0 aiohttp 3.9.1
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 Astunparse 1.6.3 async-timeout (tempo limite para operações assíncronas) 4.0.3
atributos 22.1.0 audioread 3.0.1 azure-core 1.29.1
azure-cosmos 4.3.1 Armazenamento em Blob do Azure 12.19.0 Azure Armazenamento Arquivos Data Lake 12.14.0
chamada de retorno 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.11.1
preto 22.6.0 alvejante 4.1.0 antolho 1.4
felicidade 0.7.11 boto3 1.24.28 botocore 1.27.96
ferramentas de cache 5.3.2 catálogo 2.0.10 codificadores de categoria 2.6.3
certificação 2022.12.7 cffi 1.15.1 chardet 4.0.0
normalizador de conjunto de caracteres 2.0.4 clique 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.0.0 cmdstanpy 1.2.0 Comunicação 0.1.2
confecção 0.1.4 configparser 5.2.0 contorno 1.0.5
criptografia 39.0.1 ciclista 0.11.0 cymem 2.0.8
Cython 0.29.32 Dacite 1.8.1 databricks-automl-runtime 0.2.20
databricks-cli 0.18.0 databricks-engenharia-de-características 0.2.0 databricks-sdk 0.1.6
dataclasses-json 0.6.3 conjuntos de dados 2.15.0 dbl-tempo 0.1.26
dbus-python 1.2.18 debugpy 1.6.7 decorador 5.1.1
deepspeed 0.12.4 defusedxml 0.7.1 endro 0.3.6
cache de disco 5.6.3 distlib 0.3.7 de docstring para markdown 0,11
pontos de entrada 0,4 avaliar 0.4.1 executando 0.8.3
Visão geral de facetas 1.1.1 fastjsonschema 2.19.1 fasttext 0.9.2
bloqueio de arquivo 3.9.0 Frasco 2.2.5 flatbuffers 26/05/2023
fonttools 4.25.0 lista de congelados 1.4.1 fsspec 2023.6.0
futuro 0.18.3 Gast 0.4.0 gitdb 4.0.11
GitPython 3.1.27 google-api-core 2.15.0 google-auth 2.21.0
google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1 armazenamento na nuvem do Google 2.11.0
google-crc32c 1.5.0 google-pasta 0.2.0 google-mídia-retomável 2.7.0
googleapis-common-protos 1.62.0 greenlet 2.0.1 grpcio 1.48.2
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.7.0 hjson 3.1.0 feriados 0,38
horovod 0.28.1 htmlmin 0.1.12 httplib2 0.20.2
huggingface-hub 0.19.4 IDNA 3.4 ImageHash 4.3.1
desequilibrado-learn 0.11.0 importlib-metadata 4.11.3 importlib_resources 6.1.1
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets (biblioteca Python para widgets interativos) 7.7.2 isodate 0.6.1 itsdangerous 2.0.1
Jedi 0.18.1 Jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonpatch 1.33 jsonpointer 2,4 jsonschema 4.17.3
Cliente Jupyter 7.3.4 servidor Jupyter 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Keras 2.14.0
keyring 23.5.0 kiwisolver 1.4.4 langchain 0.0.348
langchain-core 0.0.13 códigos de idioma 3.3.0 langsmith 0.0.79
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0,3 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.1.0 llvmlite 0.39.1 lxml 4.9.1
Mako 1.2.0 Redução de preço 3.4.1 MarkupSafe 2.1.1
marshmallow 3.20.2 matplotlib 3.7.0 matplotlib-inline 0.1.6
Mccabe 0.7.0 Mistune 0.8.4 ml-dtypes 0.2.0
mlflow-magro 2.9.2 more-itertools 8.10.0 mpmath 1.2.1
msgpack 1.0.7 _multidict_ 6.0.4 multimétodo 1,10
multiprocesso 0.70.14 murmurhash 1.0.10 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 2.8.4
ninja 1.11.1.1 nltk 3.7 nodeenv 1.8.0
caderno 6.5.2 notebook_shim 0.2.2 numba 0.56.4
numpy 1.23.5 oauthlib 3.2.0 openai 0.28.1
opt-einsum 3.3.0 empacotando 23,2 Pandas 1.5.3
pandocfilters 1.5.0 paramiko 2.9.2 parso 0.8.3
pathspec 0.10.3 Patsy 0.5.3 petastorm 0.12.1
pexpect 4.8.0 phik 0.12.4 pickleshare 0.7.5
Almofada 9.4.0 caroço 22.3.1 platformdirs 2.5.2
enredo 5.9.0 Pluggy 1.0.0 pmdarima 2.0.4
Cachorrinho 1.4.0 If the text refers to a technical term or specific term that may need localization, and a translation exists, that translation should be provided instead of remaining untranslated. 3.0.9 prometheus-client 0.14.1
kit de ferramentas de prompt 3.0.36 profeta 1.1.5 protobuf 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 py-cpuinfo 9.0.0 Pyarrow 8.0.0
pyarrow-hotfix 0,5 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pycparser 2.21 pydantic 1.10.6
pyflakes 3.1.0 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pynvml 11.5.0
pyodbc 4.0.32 pyparsing 3.0.9 piright 1.1.294
pirsistent 0.18.0 pytesseract 0.3.10 python-dateutil 2.8.2
editor de Python 1.0.4 python-lsp-jsonrpc 1.1.1 python-lsp-server (servidor LSP para Python) 1.8.0
pytoolconfig 1.2.5 Pytz 2022.7 PyWavelets 1.4.1
PyYAML 6,0 pyzmq 23.2.0 regex 2022.7.9
solicitações 2.28.1 requests-oauthlib 1.3.1 respostas 0.18.0
corda 1.7.0 RSA 4.9 s3transfer 0.6.2
safetensors 0.4.1 scikit-aprender 1.1.1 Scipy 1.10.0
seaborn (biblioteca de visualização em Python) 0.12.2 SecretStorage 3.3.1 Send2Trash 1.8.0
transformadores de frase 2.2.2 sentencepiece 0.1.99 Ferramentas de configuração 65.6.3
Shap 0.44.0 simplejson 3.17.6 seis 1.16.0
segmentação 0.0.7 smart-open 5.2.1 smmap 5.0.0
sniffio 1.2.0 arquivo de som 0.12.1 Soupsieve 2.3.2.post1
soxr 0.3.7 espaçoso 3.7.2 spacy-legacy 3.0.12
spacy-loggers 1.0.5 spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39
sqlparse 0.4.2 srsly 2.4.8 ssh-import-id 5.11
dados empilhados 0.2.0 estanho 0.3.0 statsmodels (biblioteca para modelos estatísticos em Python) 0.13.5
sympy 1.11.1 Tabulate 0.8.10 tangled-up-in-unicode 0.2.0
tenacidade 8.1.0 Tensorboard 2.14.1 tensorboard-data-server 0.7.2
tensorboard-plugin-profile 2.14.0 tensorflow-cpu 2.14.1 tensorflow-estimator 2.14.0
tensorflow-io-gcs-filesystem 0.35.0 termcolor 2.4.0 terminado 0.17.1
thinc 8.2.2 threadpoolctl 2.2.0 tiktoken 0.5.2
tinycss2 1.2.1 tokenize-rt 4.2.1 criadores de token 0.15.0
tomli 2.0.1 lanterna 2.0.1+cpu visão de tocha 0.15.2+cpu
tornado 6.1 tqdm 4.64.1 traitlets 5.7.1
Transformadores 4.36.1 guarda-tipo 2.13.3 Typer 0.9.0
inspecionar digitação 0.9.0 typing_extensions 4.4.0 ujson 5.4.0
atualizações não supervisionadas 0,1 urllib3 1.26.14 virtualenv 20.16.7
visões 0.7.5 wadllib 1.3.6 wasabi 1.1.2
wcwidth 0.2.5 doninha 0.3.4 codificações web 0.5.1
websocket-client (cliente WebSocket) 0.58.0 Ferramentas 2.2.2 whatthepatch 1.0.2
roda 0.38.4 widgetsnbextension 3.6.1 nuvem de palavras 1.9.3
embrulhado 1.14.1 xgboost 1.7.6 xxhash 3.4.1
yapf 0.33.0 Atualmente, não tendo contexto adicional e considerando "yarl" como um nome próprio ou termo técnico, mantemos "yarl" como está. 1.9.4 criação de perfil de ydata 4.2.0
zipp 3.11.0

Bibliotecas do Python em clusters de GPU

Biblioteca Versão Biblioteca Versão Biblioteca Versão
absl-py 1.0.0 acelerar 0.25.0 aiohttp 3.9.1
aiosignal 1.3.1 anyio 3.5.0 appdirs 1.4.4
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 Astor 0.8.1
asttokens 2.0.5 Astunparse 1.6.3 async-timeout (tempo limite para operações assíncronas) 4.0.3
atributos 22.1.0 audioread 3.0.1 azure-core 1.29.1
azure-cosmos 4.3.1 Armazenamento em Blob do Azure 12.19.0 Azure Armazenamento Arquivos Data Lake 12.14.0
chamada de retorno 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.11.1
preto 22.6.0 alvejante 4.1.0 antolho 1.4
felicidade 0.7.11 boto3 1.24.28 botocore 1.27.96
ferramentas de cache 5.3.2 catálogo 2.0.10 codificadores de categoria 2.6.3
certificação 2022.12.7 cffi 1.15.1 chardet 4.0.0
normalizador de conjunto de caracteres 2.0.4 clique 8.0.4 cloudpathlib 0.16.0
cloudpickle 2.0.0 cmake 3.28.1 cmdstanpy 1.2.0
Comunicação 0.1.2 confecção 0.1.4 configparser 5.2.0
contorno 1.0.5 criptografia 39.0.1 ciclista 0.11.0
cymem 2.0.8 Cython 0.29.32 Dacite 1.8.1
databricks-automl-runtime 0.2.20 databricks-cli 0.18.0 databricks-engenharia-de-características 0.2.0
databricks-sdk 0.1.6 dataclasses-json 0.6.3 conjuntos de dados 2.15.0
dbl-tempo 0.1.26 dbus-python 1.2.18 debugpy 1.6.7
decorador 5.1.1 deepspeed 0.12.4 defusedxml 0.7.1
endro 0.3.6 cache de disco 5.6.3 distlib 0.3.7
de docstring para markdown 0,11 einops 0.7.0 pontos de entrada 0,4
avaliar 0.4.1 executando 0.8.3 Visão geral de facetas 1.1.1
fastjsonschema 2.19.1 fasttext 0.9.2 bloqueio de arquivo 3.9.0
flash-attn 2.3.6 Frasco 2.2.5 flatbuffers 26/05/2023
fonttools 4.25.0 lista de congelados 1.4.1 fsspec 2023.6.0
futuro 0.18.3 Gast 0.4.0 gitdb 4.0.11
GitPython 3.1.27 google-api-core 2.15.0 google-auth 2.21.0
google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1 armazenamento na nuvem do Google 2.11.0
google-crc32c 1.5.0 google-pasta 0.2.0 google-mídia-retomável 2.7.0
googleapis-common-protos 1.62.0 greenlet 2.0.1 grpcio 1.48.2
grpcio-status 1.48.1 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.7.0 hjson 3.1.0 feriados 0,38
horovod 0.28.1 htmlmin 0.1.12 httplib2 0.20.2
huggingface-hub 0.19.4 IDNA 3.4 ImageHash 4.3.1
desequilibrado-learn 0.11.0 importlib-metadata 4.11.3 importlib_resources 6.1.1
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets (biblioteca Python para widgets interativos) 7.7.2 isodate 0.6.1 itsdangerous 2.0.1
Jedi 0.18.1 Jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonpatch 1.33 jsonpointer 2,4 jsonschema 4.17.3
Cliente Jupyter 7.3.4 servidor Jupyter 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 Keras 2.14.0
keyring 23.5.0 kiwisolver 1.4.4 langchain 0.0.348
langchain-core 0.0.13 códigos de idioma 3.3.0 langsmith 0.0.79
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
lazy_loader 0,3 libclang 15.0.6.1 librosa 0.10.1
lightgbm 4.1.0 iluminado 17.0.6 llvmlite 0.39.1
lxml 4.9.1 Mako 1.2.0 Redução de preço 3.4.1
MarkupSafe 2.1.1 marshmallow 3.20.2 matplotlib 3.7.0
matplotlib-inline 0.1.6 Mccabe 0.7.0 Mistune 0.8.4
ml-dtypes 0.2.0 mlflow-magro 2.9.2 more-itertools 8.10.0
mpmath 1.2.1 msgpack 1.0.7 _multidict_ 6.0.4
multimétodo 1,10 multiprocesso 0.70.14 murmurhash 1.0.10
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
networkx 2.8.4 ninja 1.11.1.1 nltk 3.7
nodeenv 1.8.0 caderno 6.5.2 notebook_shim 0.2.2
numba 0.56.4 numpy 1.23.5 oauthlib 3.2.0
openai 0.28.1 opt-einsum 3.3.0 empacotando 23,2
Pandas 1.5.3 pandocfilters 1.5.0 paramiko 2.9.2
parso 0.8.3 pathspec 0.10.3 Patsy 0.5.3
petastorm 0.12.1 pexpect 4.8.0 phik 0.12.4
pickleshare 0.7.5 Almofada 9.4.0 caroço 22.3.1
platformdirs 2.5.2 enredo 5.9.0 Pluggy 1.0.0
pmdarima 2.0.4 Cachorrinho 1.4.0 If the text refers to a technical term or specific term that may need localization, and a translation exists, that translation should be provided instead of remaining untranslated. 3.0.9
kit de ferramentas de prompt 3.0.36 profeta 1.1.5 protobuf 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 py-cpuinfo 9.0.0 Pyarrow 8.0.0
pyarrow-hotfix 0,5 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pycparser 2.21 pydantic 1.10.6
pyflakes 3.1.0 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pynvml 11.5.0
pyodbc 4.0.32 pyparsing 3.0.9 piright 1.1.294
pirsistent 0.18.0 pytesseract 0.3.10 python-dateutil 2.8.2
editor de Python 1.0.4 python-lsp-jsonrpc 1.1.1 python-lsp-server (servidor LSP para Python) 1.8.0
pytoolconfig 1.2.5 Pytz 2022.7 PyWavelets 1.4.1
PyYAML 6,0 pyzmq 23.2.0 regex 2022.7.9
solicitações 2.28.1 requests-oauthlib 1.3.1 respostas 0.18.0
corda 1.7.0 RSA 4.9 s3transfer 0.6.2
safetensors 0.4.1 scikit-aprender 1.1.1 Scipy 1.10.0
seaborn (biblioteca de visualização em Python) 0.12.2 SecretStorage 3.3.1 Send2Trash 1.8.0
transformadores de frase 2.2.2 sentencepiece 0.1.99 Ferramentas de configuração 65.6.3
Shap 0.44.0 simplejson 3.17.6 seis 1.16.0
segmentação 0.0.7 smart-open 5.2.1 smmap 5.0.0
sniffio 1.2.0 arquivo de som 0.12.1 Soupsieve 2.3.2.post1
soxr 0.3.7 espaçoso 3.7.2 spacy-legacy 3.0.12
spacy-loggers 1.0.5 spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39
sqlparse 0.4.2 srsly 2.4.8 ssh-import-id 5.11
dados empilhados 0.2.0 estanho 0.3.0 statsmodels (biblioteca para modelos estatísticos em Python) 0.13.5
sympy 1.11.1 Tabulate 0.8.10 tangled-up-in-unicode 0.2.0
tenacidade 8.1.0 Tensorboard 2.14.1 tensorboard-data-server 0.7.2
tensorboard-plugin-profile 2.14.0 TensorFlow 2.14.1 tensorflow-estimator 2.14.0
tensorflow-io-gcs-filesystem 0.35.0 termcolor 2.4.0 terminado 0.17.1
thinc 8.2.2 threadpoolctl 2.2.0 tiktoken 0.5.2
tinycss2 1.2.1 tokenize-rt 4.2.1 criadores de token 0.15.0
tomli 2.0.1 lanterna 2.0.1+cu118 visão de tocha 0.15.2+cu118
tornado 6.1 tqdm 4.64.1 traitlets 5.7.1
Transformadores 4.36.1 Tritão 2.0.0 guarda-tipo 2.13.3
Typer 0.9.0 inspecionar digitação 0.9.0 typing_extensions 4.4.0
ujson 5.4.0 atualizações não supervisionadas 0,1 urllib3 1.26.14
virtualenv 20.16.7 visões 0.7.5 wadllib 1.3.6
wasabi 1.1.2 wcwidth 0.2.5 doninha 0.3.4
codificações web 0.5.1 websocket-client (cliente WebSocket) 0.58.0 Ferramentas 2.2.2
whatthepatch 1.0.2 roda 0.38.4 widgetsnbextension 3.6.1
nuvem de palavras 1.9.3 embrulhado 1.14.1 xgboost 1.7.6
xxhash 3.4.1 yapf 0.33.0 Atualmente, não tendo contexto adicional e considerando "yarl" como um nome próprio ou termo técnico, mantemos "yarl" como está. 1.9.4
criação de perfil de ydata 4.2.0 zipp 3.11.0

Bibliotecas do R

As bibliotecas do R são idênticas às Bibliotecas do R existentes no Databricks Runtime 14.3 LTS.

Bibliotecas do Java e do Scala (cluster do Scala 2.12)

Além das bibliotecas do Java e do Scala no Databricks Runtime 14.3 LTS, o Databricks Runtime 14.3 LTS para ML contém os seguintes JARs:

Clusters de CPU

ID do Grupo ID do artefato Versão
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.9.2
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

Clusters de GPU

ID do Grupo ID do artefato Versão
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.9.2
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0