MLflow システム テーブルリファレンス

mlflow システム テーブルは、MLflow 追跡サービス内で管理されている実験メタデータをキャプチャします。 これらのテーブルを使用すると、特権ユーザーは、リージョン内のすべてのワークスペースで MLflow データに対して Databricks lakehouse ツールを利用できます。 テーブルを使用して、カスタム AI/BI ダッシュボードの構築、SQL アラートの設定、大規模な分析クエリの実行を行うことができます。

mlflowシステム テーブルを使用して、ユーザーは次のような質問に回答できます。

• 信頼性が最も低い実験はどれですか?
• さまざまな実験の平均 GPU 使用率は何ですか?

使用可能なテーブル

mlflow スキーマには、次の表が含まれています。

• system.mlflow.experiments_latest: 実験名と論理的な削除イベントを記録します。 このデータは、MLflow UI の 実験ページ に似ています。
• system.mlflow.runs_latest: 実行ライフサイクル情報、各実行に関連付けられているパラメーターとタグ、およびすべてのメトリックの最小値、最大値、および最新の値の集計された統計を記録します。 このデータは、 実行の検索または実行の詳細ページに似ています。
• system.mlflow.run_metrics_history: 実行にログオンしたすべてのメトリックの名前、値、タイムスタンプ、およびステップを記録します。これは、実行からの詳細な時系列をプロットするために使用できます。 このデータは、[ 実行の詳細] ページの [メトリック] タブに似ています。

ダッシュボードを使用して実行情報をプロットする例を次に示します。

テーブル スキーマ

説明とサンプル データを含むテーブル スキーマを次に示します。

system.mlflow.experiments_latest

system.mlflow.runs_latest

system.mlflow.run_metrics_history

ユーザーとのアクセスの共有

既定では、アカウント管理者のみがシステム スキーマにアクセスできます。 追加のユーザーにテーブルへのアクセス権を付与するには、アカウント管理者が、system.mlflow. スキーマに対する USE アクセス許可とSELECTアクセス許可を付与する必要があります。 「Unity Catalog の権限とセキュリティ保護可能なオブジェクト」を参照してください。

これらのテーブルにアクセスできるユーザーは、アカウント内のすべてのワークスペースのすべての MLflow 実験のメタデータを表示できます。 個々のユーザーではなく特定のグループのテーブル アクセスを構成するには、 Unity カタログのベスト プラクティスを参照してください。

すべてのユーザーにテーブルへのアクセスを許可するよりも詳細な制御が必要な場合は、カスタム条件を持つ 動的ビュー を使用して、グループに特定のアクセス権を付与できます。 たとえば、特定の実験 ID のセットからのレコードのみを表示するビューを作成できます。 カスタム ビューを構成した後、ユーザーにビューの名前を付けて、システム テーブルではなく動的ビューに対して直接クエリを実行できるようにします。

MLflow メタデータのユース ケースの例

次のセクションでは、MLflow システム テーブルを使用して、MLflow の実験と実行に関する質問に回答する方法の例を示します。

実験の信頼性を低くするために SQL アラートを構成する

Databricks SQL アラート (ベータ) を使用すると、定期的に定期的なクエリをスケジュールし、特定の制約が満たされなくなった場合に通知を受け取ることができます。

この例では、ワークスペース内で最も頻繁に実行される実験を調べて、信頼性が低く、特別な注意が必要な可能性があるかどうかを判断するアラートを作成します。 クエリでは、 runs_latest テーブルを使用して、完了としてマークされた実験ごとの実行数を、実行の合計数で割って計算します。

1. サイドバー の [アラート] をクリックし、[ アラートの作成] をクリックします。

2. 次のクエリをコピーしてクエリ エディターに貼り付けます。

    SELECT
      experiment_id,
      AVG(CASE WHEN status = 'FINISHED' THEN 1.0 ELSE 0.0 END) AS success_ratio,
      COUNT(status) AS run_count
    FROM system.mlflow.runs_latest
    WHERE status IS NOT NULL
    GROUP BY experiment_id
    ORDER BY run_count DESC
    LIMIT 20;
   

3. [ 条件 ] フィールドで、条件を MIN success_ratio < 0.9に設定します。 これにより、上位 20 件の実験 (実行数別) のいずれかが成功率が 90%未満の場合にアラートがトリガーされます。

さらに、条件のテスト、スケジュールの設定、通知の構成を行うことができます。 アラートの構成の詳細については、 SQL アラートの設定を参照してください。 クエリを使用した構成の例を次に示します。

サンプル クエリ

次のサンプル クエリを使用して、 Databricks SQL を使用してアカウントの MLflow アクティビティに関する情報を取得できます。 Spark で Python ノートブックなどのツールを利用することもできます。

から実行情報を取得する runs_latest

SELECT
  run_name,
  date(start_time) AS start_date,
  status,
  TIMESTAMPDIFF(MINUTE, start_time, end_time) AS run_length_minutes
FROM system.mlflow.runs_latest
WHERE
  experiment_id = :experiment_id
  AND run_id = :run_id
LIMIT 1

これにより、指定された実行に関する情報が返されます。

experiments_latestから実験と実行情報を取得するruns_latest

SELECT
  runs.run_name,
  experiments.name,
  date(runs.start_time) AS start_date,
  runs.status,
  TIMESTAMPDIFF(MINUTE, runs.start_time, runs.end_time) AS run_length_minutes
FROM system.mlflow.runs_latest runs
  JOIN system.mlflow.experiments_latest experiments ON runs.experiment_id = experiments.experiment_id
  WHERE
    runs.experiment_id = :experiment_id
    AND runs.run_id = :run_id
LIMIT 1

特定の実行の概要統計を取得する run_metrics_history

SELECT
  metric_name,
  count(metric_time) AS num_data_points,
  ROUND(avg(metric_value), 1) AS avg,
  ROUND(max(metric_value), 1) AS max,
  ROUND(min(metric_value), 1) AS min,
  ROUND(PERCENTILE_CONT(0.25) WITHIN GROUP (ORDER BY metric_value), 1) AS pct_25,
  ROUND(PERCENTILE_CONT(0.5) WITHIN GROUP (ORDER BY metric_value), 1) AS median,
  ROUND(PERCENTILE_CONT(0.75) WITHIN GROUP (ORDER BY metric_value), 1) AS pct_75
FROM
  system.mlflow.run_metrics_history
WHERE
  run_id = :run_id
GROUP BY
  metric_name, run_id
LIMIT 100

これにより、特定の run_idのメトリックの概要が返されます。

実験と実行のダッシュボード

MLflow システム テーブル データの上に ダッシュボード を構築して、MLflow 実験を分析し、ワークスペース全体から実行することができます。

詳細については、システム テーブルの MLflow メタデータを使用したダッシュボードの構築に関するページを参照してください。