既定では、データ品質監視スキャンの結果は system.data_quality_monitoring.table_results テーブルに格納されます。 アカウント管理者のみがこのテーブルにアクセスでき、必要に応じて他のユーザーにアクセス権を付与する必要があります。 データ品質の監視では 、既定のストレージ を使用して異常検出結果が格納されます。 ストレージに対して課金されません。
Important
結果テーブル system.data_quality_monitoring.table_results には、メタストア全体のすべての結果が含まれており、各カタログのテーブルのサンプル値が含まれています。 このテーブルへのアクセスを許可する場合は注意が必要です。
異常検出の結果テーブル スキーマ
結果テーブルの各行は、スキャンされたスキーマ内の 1 つのテーブルに対応します。
テーブルには次のスキーマがあります。
| 列名 | コンテンツ ( struct データ型の場合) |
データの種類 | Description | サンプル データ |
|---|---|---|---|---|
event_time |
timestamp | 行が生成された時刻。 | 2025-06-27T12:00:00 |
|
catalog_name |
文字列 | カタログの名前。 テーブルを識別するために使用されます。 | main |
|
schema_name |
文字列 | スキーマの名前。 テーブルを識別するために使用されます。 | default |
|
table_name |
文字列 | テーブルの名前。 テーブルを識別するために使用されます。 | events |
|
catalog_id |
文字列 | カタログの安定した ID。 | 3f1a7d6e-9c59-4b76-8c32-8d4c74e289fe |
|
schema_id |
文字列 | スキーマの安定した ID。 | 3f1a7d6e-9c59-4b76-8c32-8d4c74e289fe |
|
table_id |
文字列 | テーブルの安定した ID。 | 3f1a7d6e-9c59-4b76-8c32-8d4c74e289fe |
|
status |
文字列 | テーブル レベルでの統合された正常性状態。
Unhealthy チェックまたはグループが異常である場合。 |
Healthy、 Unhealthy、 Unknown |
|
freshness |
構造体 | 鮮度チェック。 | ||
status |
文字列 | 全体的な鮮度の状態。 | Unhealthy |
|
commit_freshness |
構造体 | 鮮度チェックの結果をコミットします。 | ||
completeness |
構造体 | 完全性チェックの結果。 | ||
status |
文字列 | 完全性チェックの状態。 | Unhealthy |
|
total_row_count |
構造体 | 時間の経過に伴うテーブル内の行の合計数。 | ||
daily_row_count |
構造体 | 毎日追加される行の数。 | ||
downstream_impact |
構造体 | 依存関係グラフに基づくダウンストリームの影響の概要。 | ||
impact_level |
整数 (int) | 重大度インジケーター (0 = なし、 1 = 低、 2 = 中、 3 = 高、 4 = 非常に高い)。 |
2 |
|
num_downstream_tables |
整数 (int) | 影響を受けるダウンストリーム テーブルの数。 | 5 |
|
num_queries_on_affected_tables |
整数 (int) | 過去 30 日間に影響を受けたダウンストリーム テーブルで実行されたクエリの数。 | 120 |
|
root_cause_analysis |
構造体 | 問題の原因となるアップストリーム ジョブに関する情報。 | ||
upstream_jobs |
array | 各アップストリーム ジョブのメタデータ。 |
commit_freshness 配列構造
commit_freshness構造体には、次のものが含まれています。
| 項目名 | データの種類 | Description | サンプル データ |
|---|---|---|---|
status |
文字列 | コミットの鮮度チェックの状態。 | Unhealthy |
error_code |
文字列 | チェック中にエラー メッセージが発生しました。 | FAILED_TO_FIT_MODEL |
last_value |
timestamp | 最後のコミット タイムスタンプ。 | 2025-06-27T11:30:00 |
predicted_value |
timestamp | テーブルを更新する必要がある予測時間。 | 2025-06-27T11:45:00 |
total_row_count の配列構造 daily_row_count
total_row_count構造体とdaily_row_count構造体には、次のものが含まれます。
| 項目名 | データの種類 | Description | サンプル データ |
|---|---|---|---|
status |
文字列 | チェックの状態。 | Unhealthy |
error_code |
文字列 | チェック中にエラー メッセージが発生しました。 | FAILED_TO_FIT_MODEL |
last_value |
整数 (int) | 過去 24 時間に観察された行数。 | 500 |
min_predicted_value |
整数 (int) | 過去 24 時間以内に予想される最小行数。 | 10 |
max_predicted_value |
整数 (int) | 過去 24 時間以内に予想される最大行数。 | 1000 |
upstream_jobs 配列構造
upstream_jobs列に示されている配列の構造を次の表に示します。
| 項目名 | データの種類 | Description | サンプル データ |
|---|---|---|---|
job_id |
文字列 | ジョブ ID。 | 12345 |
workspace_id |
文字列 | ワークスペース ID。 | 6051921418418893 |
job_name |
文字列 | ジョブの表示名。 | daily_refresh |
last_run_status |
文字列 | 最新の実行の状態。 | SUCCESS |
run_page_url |
文字列 | Databricks ジョブ実行ページの URL。 | https://<workspace_url>/runs/123 |
ダウンストリームの影響に関する情報
ログに記録された結果テーブルの downstream_impact 列は、次のフィールドを含む struct です。
| フィールド | タイプ | Description |
|---|---|---|
impact_level |
整数 (int) | データ品質の問題の重大度を示す 1 ~ 4 の整数値。 値が大きいほど、中断が大きいことを示します。 |
num_downstream_tables |
整数 (int) | 特定された問題の影響を受ける可能性があるダウンストリーム テーブルの数。 |
num_queries_on_affected_tables |
整数 (int) | 過去 30 日間に影響を受けたテーブルとダウンストリーム テーブルを参照したクエリの合計数。 |