System Tablesとは？Databricksの監視・監査テーブル

System Tablesは、Databricksワークスペースの監査ログ・課金データ・コンピュートリソース・テーブルリネージ等の運用メタデータをSQLで直接クエリできる仕組みです。Unity Catalogのsystemカタログ配下にDelta Table形式で格納されており、BI・セキュリティ監査・コスト最適化の基盤として活用できます。Data Engineer Professional試験ではSystem Tablesの種類・用途・有効化方法が出題されます。

System Tablesの概要

System TablesはDatabricksプラットフォームが自動的に生成・更新するメタデータテーブルです。ユーザーが明示的にデータを書き込む必要はなく、ワークスペース上の操作（ジョブ実行・テーブルアクセス・クラスタ作成等）がリアルタイムに記録されます。すべてのテーブルはsystemカタログの各スキーマに格納されます。

主要テーブル一覧

System Tablesの有効化

System Tablesはデフォルトでは一部のスキーマのみ有効です。すべてのスキーマを有効化するにはアカウント管理者が以下のコマンドを実行します。

-- 全スキーマを有効化（アカウント管理者権限が必要）
ALTER CATALOG system ENABLE ALL SCHEMAS

-- 特定スキーマのみ有効化
ALTER CATALOG system ENABLE SCHEMA billing
ALTER CATALOG system ENABLE SCHEMA access

-- アクセス権の付与（データエンジニアグループに監査ログの読み取り権限）
GRANT SELECT ON SCHEMA system.access TO `data-engineers`
GRANT SELECT ON TABLE system.billing.usage TO `finance-team`

監査ログのクエリ例

system.access.auditテーブルには、ワークスペース上の全APIリクエストと操作が記録されます。セキュリティ監査やコンプライアンス対応に使用します。

-- 過去7日間のテーブルアクセスログ（誰がどのテーブルを参照したか）
SELECT
  event_date,
  user_identity.email AS user_email,
  action_name,
  request_params.full_name_arg AS table_name,
  source_ip_address,
  response.status_code
FROM system.access.audit
WHERE action_name IN ('getTable', 'commandSubmit')
  AND event_date >= CURRENT_DATE - INTERVAL 7 DAYS
  AND request_params.full_name_arg IS NOT NULL
ORDER BY event_date DESC

-- 特定ユーザーの操作履歴（インシデント調査用）
SELECT
  event_date,
  event_time,
  action_name,
  request_params,
  response.status_code,
  source_ip_address
FROM system.access.audit
WHERE user_identity.email = '[email protected]'
  AND event_date >= '2026-03-01'
ORDER BY event_time DESC

課金分析のクエリ例

system.billing.usageとsystem.billing.list_pricesを結合して、実際のコストをドル換算で分析できます。

-- 過去30日のSKU別DBU消費量と推定コスト
SELECT
  u.sku_name,
  u.usage_unit,
  SUM(u.usage_quantity) AS total_dbu,
  ROUND(SUM(u.usage_quantity * p.pricing.default), 2) AS estimated_cost_usd
FROM system.billing.usage u
LEFT JOIN system.billing.list_prices p
  ON u.sku_name = p.sku_name
  AND u.usage_date BETWEEN p.price_start_time AND COALESCE(p.price_end_time, '2099-12-31')
WHERE u.usage_date >= CURRENT_DATE - INTERVAL 30 DAYS
GROUP BY u.sku_name, u.usage_unit
ORDER BY estimated_cost_usd DESC

-- ワークスペース別の日次コスト推移
SELECT
  u.usage_date,
  u.workspace_id,
  ROUND(SUM(u.usage_quantity * p.pricing.default), 2) AS daily_cost_usd
FROM system.billing.usage u
LEFT JOIN system.billing.list_prices p
  ON u.sku_name = p.sku_name
  AND u.usage_date BETWEEN p.price_start_time AND COALESCE(p.price_end_time, '2099-12-31')
WHERE u.usage_date >= CURRENT_DATE - INTERVAL 90 DAYS
GROUP BY u.usage_date, u.workspace_id
ORDER BY u.usage_date DESC

クラスタ監視のクエリ例

system.compute.clustersテーブルでクラスタの構成・稼働時間・コスト効率を分析できます。

-- アクティブなクラスタとそのスペック一覧
SELECT
  cluster_id,
  cluster_name,
  cluster_source,
  driver_node_type,
  node_type_id AS worker_node_type,
  autoscale.min_workers,
  autoscale.max_workers,
  spark_version,
  creator
FROM system.compute.clusters
WHERE delete_time IS NULL
ORDER BY cluster_name

-- 長時間稼働クラスタの検出（コスト最適化）
SELECT
  cluster_id,
  cluster_name,
  creator,
  state,
  TIMESTAMPDIFF(HOUR, last_restarted_time, CURRENT_TIMESTAMP) AS hours_since_restart
FROM system.compute.clusters
WHERE state = 'RUNNING'
  AND delete_time IS NULL
  AND TIMESTAMPDIFF(HOUR, last_restarted_time, CURRENT_TIMESTAMP) > 24
ORDER BY hours_since_restart DESC

テーブルリネージの活用

Unity Catalogが自動追跡するリネージ情報はsystem.access.table_lineageとsystem.access.column_lineageテーブルに記録されます。データの流れを可視化し、影響分析やデータ品質トラッキングに活用できます。

-- 特定テーブルの上流テーブル（データソース）を特定
SELECT
  source_table_full_name,
  target_table_full_name,
  event_date,
  entity_type
FROM system.access.table_lineage
WHERE target_table_full_name = 'gold.analytics.daily_revenue'
  AND event_date >= CURRENT_DATE - INTERVAL 30 DAYS
GROUP BY source_table_full_name, target_table_full_name,
         event_date, entity_type
ORDER BY event_date DESC

運用ベストプラクティス

• フィルタを必ず指定：System Tablesは大量のレコードを含むため、WHERE句でevent_dateやusage_dateのフィルタを指定しないとクエリコストが高額になる
• ゴールドテーブルに集約：頻繁に参照するメトリクスはマテリアライズドビューまたはDelta Tableに事前集約し、Databricks SQLダッシュボードで可視化する
• アラート設定：Databricks SQLのアラート機能でコスト閾値や異常アクセスパターンを検知する
• 長期保存：保持期間（365日）を超えるデータが必要な場合、定期ジョブで外部ストレージにエクスポートする

サンプル問題

よくある質問（FAQ）