Databricks Runtime 13.3 LTS para Machine Learning

O Databricks Runtime 13.3 LTS para Machine Learning fornece um ambiente pronto para uso no aprendizado de máquina e ciência de dados com base no Databricks Runtime 13.3 LTS. O Databricks Runtime ML contém muitas bibliotecas de aprendizado de máquina populares, inclusive TensorFlow, PyTorch e XGBoost. O Databricks Runtime ML inclui o AutoML, uma ferramenta para treinamento automático de pipelines de aprendizado de máquina. O Databricks Runtime ML também oferece suporte ao treinamento de aprendizado profundo distribuído com o uso do Horovod.

Para obter mais informações, incluindo instruções para criar um cluster de ML do Databricks Runtime, confira IA e aprendizado de máquina no Databricks.

Novos recursos e aprimoramentos

O Databricks Runtime 13.3 LTS para ML foi criado com base no Databricks Runtime 13.3 LTS. Para obter informações sobre as novidades no Databricks Runtime 13.3 LTS, incluindo Apache Spark MLlib e SparkR, consulte as notas de versão do Databricks Runtime 13.3 LTS .

Aprimoramentos no Databricks Feature Store

• O Databricks Runtime 13.3 LTS para ML contém o cliente do Repositório de Recursos v0.14.0. Com a versão do cliente 0.14.0 e superior, você deve especificar as colunas de chave de carimbo de data/hora no primary_keys argumento. As chaves de registro de data e hora fazem parte das "chaves primárias" que identificam exclusivamente cada linha na tabela de recursos.
• Agora você pode excluir valores de recurso com carimbos de data/hora antes de uma hora especificada do conjunto de treinamento. Para obter mais detalhes, consulte Definir um limite de tempo para valores de recursos históricos.
• Agora os recursos de machine learning podem ser computados sob demanda no momento da inferência. A lógica de computação de recursos, os modelos e os dados são todos regidos pelo Catálogo do Unity. Isso permite que os modelos computem recursos usando entradas que só estão disponíveis em tempo de inferência, como o local atual de um usuário. Para obter mais informações, consulte o cálculo de características sob demanda.

Ambiente do sistema

O ambiente do sistema no Databricks Runtime 13.3 LTS para ML difere do Databricks Runtime 13.3 LTS nestes pontos:

• DBUtils: o Databricks Runtime ML não inclui Utilitário de biblioteca (dbutils.library) (herdado). Use os comandos %pip. Confira as bibliotecas Python no escopo do notebook.
• Para clusters de GPU, o Databricks Runtime ML inclui as seguintes bibliotecas de GPU NVIDIA:
  • CUDA==11.7
  • CuDNN==8.5.0.96-1
  • NCCL 2.15.1
  • TensorRT 7.2.2

O Databricks Runtime 13.3 LTS para ML inclui o XGBoost 1.7.3, que não tem suporte para os clusters de GPU com capacidade de computação 5.2 e inferior.

O pacote miniconda foi removido do Databricks Runtime 13.0 ML e superiores.

Bibliotecas

As seções a seguir listam as bibliotecas incluídas no Databricks Runtime 13.3 LTS para ML que diferem daquelas incluídas no Databricks Runtime 13.3 LTS.

Nesta seção:

• Bibliotecas de camada superior
• Bibliotecas do Python
• Bibliotecas do R
• Bibliotecas do Java e do Scala (cluster do Scala 2.12)

Bibliotecas de camada superior

O Databricks Runtime 13.3 LTS para ML inclui as seguintes bibliotecas de camada superior:

• GraphFrames
• Horovod e HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard
• Scikit-learn

Bibliotecas do Python

O Databricks Runtime 13.3 LTS para ML usa o Virtualenv para gerenciamento de pacotes Python e inclui muitos pacotes de ML populares.

Além dos pacotes especificados nas seções a seguir, o Databricks Runtime 13.3 LTS para ML também inclui os seguintes pacotes:

• hyperopt 0.2.7+db3
• sparkdl 3.0.0_db1
• automl 1.20.0

Para reproduzir o ambiente do Python do Databricks Runtime ML no ambiente virtual do Python local, baixe o arquivo requirements-13.3.txt e execute pip install -r requirements-13.3.txt. Esse comando instala todas as bibliotecas código aberto que o Databricks Runtime ML usa, mas não instala bibliotecas desenvolvidas pelo Databricks, como databricks-automl, databricks-feature-store, ou o fork do Databricks de hyperopt.

Bibliotecas do Python em clusters de CPU

Bibliotecas do Python em clusters de GPU

Bibliotecas do R

As bibliotecas do R são idênticas às Bibliotecas do R existentes no Databricks Runtime 13.3 LTS.

Bibliotecas do Java e do Scala (cluster do Scala 2.12)

Além das bibliotecas do Java e do Scala no Databricks Runtime 13.3 LTS, o Databricks Runtime 13.3 LTS para ML contém os seguintes JARs:

Clusters de CPU

Clusters de GPU