次の方法で共有

Databricks での AI および機械学習の概要

データ準備から運用監視までの AI ライフサイクル全体を統合した統合プラットフォームである Mosaic AI を使用して、AI と機械学習アプリケーションを構築、デプロイ、管理します。

作業を開始するための一連のチュートリアルについては、 AI と機械学習のチュートリアルを参照してください。

生成型 AI アプリケーションを構築する

微調整された LLM、AI エージェント、検索拡張生成などのエンタープライズ グレードの生成 AI アプリケーションを開発してデプロイします。

Feature Description
AI プレイグラウンド コードなしのプロンプト エンジニアリングとパラメーター チューニングを使用して、生成 AI モデルのプロトタイプとテストを行います。
エージェントブリックス 一般的な AI ユース ケースに合わせて、ドメイン固有の高品質の AI エージェント システムを構築および最適化するための簡単なアプローチ。
基盤モデル セキュリティで保護されたスケーラブルな API を使用して、Meta Llama、Anthropic Claude、OpenAI GPT などの最先端の LLM を提供します。
モザイク人工知能エージェントフレームワーク PYTHON を使用して、RAG アプリケーションやマルチエージェント システムを含む運用品質のエージェントを構築してデプロイします。
GenAI の MLflow AI を利用したメトリックと包括的なトレース監視機能を使用して、GenAI アプリケーションライフサイクル全体の品質を測定、改善、監視します。
ベクトル検索 RAG アプリケーションのナレッジ ベースと自動同期を使用して、埋め込みベクターを格納およびクエリします。
サーバーレス GPU コンピューティング お気に入りのフレームワークを使用してカスタム モデルをトレーニングおよび微調整するために、単一ノードとマルチノードのディープ ラーニング ワークロードをカスタマイズし、最先端の効率、パフォーマンス、品質を実現します。
基盤モデルの微調整 独自のデータを使用して基礎モデルをカスタマイズし、特定のアプリケーションのパフォーマンスを最適化します。

従来の機械学習モデルをトレーニングする

自動化されたツールとコラボレーション開発環境を使用して機械学習モデルを作成します。

Feature Description
AutoML 機能エンジニアリングとハイパーパラメーターの自動チューニングを使用して、最小限のコードで高品質のモデルを自動的に構築します。
Databricks Runtime for ML TensorFlow、PyTorch、Keras、GPU がディープ ラーニング開発用にサポートされている事前構成済みのクラスター。
MLflow の追跡 実験を追跡し、モデルのパフォーマンスを比較し、完全なモデル開発ライフサイクルを管理します。
特徴エンジニアリング 自動化されたデータ パイプラインと機能検出を使用して、機能を作成、管理、提供します。
Databricks ノートブック ML ワークフロー用の Python、R、Scala、SQL をサポートするコラボレーション開発環境。

ディープ ラーニング モデルをトレーニングする

組み込みのフレームワークを使用してディープ ラーニング モデルを開発します。

Feature Description
分散トレーニング Ray、TorchDistributor、DeepSpeed を使用した分散ディープ ラーニングの例。
Databricks でのディープ ラーニングのベスト プラクティス Databricks でのディープ ラーニングのベスト プラクティス。
PyTorch PyTorch を使用した単一ノードおよび分散トレーニング。
TensorFlow TensorFlow と TensorBoard を使用した単一ノードおよび分散トレーニング。
参照ソリューション ディープ ラーニングのリファレンス ソリューション。

モデルのデプロイと運用

スケーラブルなエンドポイント、リアルタイム推論、エンタープライズ レベルの監視を使用して、モデルを運用環境にデプロイします。

Feature Description
モデルサービング 自動スケーリングと GPU サポートを使用して、カスタム モデルと LLM をスケーラブルな REST エンドポイントとしてデプロイします。
AI ゲートウェイ 使用状況の追跡、ペイロードのログ記録、セキュリティ制御を使用して、生成型 AI モデルへのアクセスを管理および監視します。
外部モデル Databricks の外部でホストされているサード パーティ製モデルを、統合されたガバナンスと監視と統合します。
Foundation Model API Databricks によってホストされている最新のオープン モデルにアクセスしてクエリを実行します。

ML システムの監視と管理

包括的な監視およびガバナンス ツールを使用して、モデルの品質、データの整合性、コンプライアンスを確保します。

Feature Description
Unity カタログ 統合されたアクセス制御、系列の追跡、検出を使用して、データ、機能、モデル、および機能を管理します。
データ プロファイリング 自動化されたアラートと根本原因分析を使用して、データ品質、モデルのパフォーマンス、予測の誤差を監視します。
異常検出 カタログ レベルでデータの鮮度と完全性を監視します。
モデル用 MLflow 開発ライフサイクル全体を通じて、生成型 AI アプリケーションを追跡、評価、監視します。

ML ワークフローの運用化

自動化されたワークフロー、CI/CD 統合、運用対応パイプラインを使用して機械学習操作をスケーリングします。

Feature Description
Unity Catalog のモデル Unity カタログのモデル レジストリを使用して、一元的なガバナンスを行い、デプロイを含むモデルのライフサイクルを管理します。
Lakeflow ジョブ ML データ処理用の自動化されたワークフローと運用対応の ETL パイプラインを構築します。
Ray on Databricks 大規模なモデルのトレーニングと推論のために分散コンピューティングを使用して ML ワークロードをスケーリングします。
MLOps ワークフロー トレーニング、テスト、デプロイの自動化されたパイプラインを使用して、エンドツーエンドの MLOps を実装します。
Git 統合 シームレスな Git 統合とコラボレーション開発を使用して、ML コードとノートブックをバージョン管理します。
  • Last updated on