メダリオンアーキテクチャとは？Bronze/Silver/Gold設計パターン

Medallion Architecture（メダリオンアーキテクチャ）は、Databricks Lakehouse Platformで推奨されるデータ設計パターンです。 データをBronze（生データ）、Silver（クレンジング済み）、Gold（ビジネス最適化済み）の3層に分けて管理し、 データの品質・信頼性・利用効率を段階的に高めます。 Data Engineer Associate試験の最頻出アーキテクチャトピックです。

全体像

データソース（アプリケーション、IoT、外部API、ファイル）から到着した生データを、 まずBronze層にそのまま保存し、段階的にクレンジング・結合・集約を施してSilver、Goldへと昇華させます。 各層はすべてDelta Tableとして管理されます。

Bronze層（生データ保存）

Bronze層の役割は「データソースから届いた生データを、変換せずにそのまま保存する」ことです。 データの品質は問わず、欠損・重複・型不整合があっても構いません。 目的は「何が届いたか」の完全な記録を残すことです。

• データはそのままの形で保存（加工しない）
• メタデータ（取り込み日時、ソースファイル名など）を追加
• スキーマはソースに依存（推論 or 明示的定義）
• 取り込みツール: Auto Loader、COPY INTO、Kafka Connector
• データ品質: 低（NULLあり、重複あり、型不整合あり）

# Bronze層への取り込み（Auto Loader）
(spark.readStream
  .format("cloudFiles")
  .option("cloudFiles.format", "json")
  .option("cloudFiles.schemaLocation", "/checkpoint/bronze/schema")
  .load("/data/landing/events/")
  .withColumn("_ingested_at", current_timestamp())
  .withColumn("_source_file", input_file_name())
  .writeStream
  .option("checkpointLocation", "/checkpoint/bronze/events")
  .trigger(availableNow=True)
  .toTable("bronze.raw_events")
)

Silver層（クレンジング・結合）

Silver層は、Bronze層の生データを「ビジネスドメインに依存しない汎用的なクレンジング」で整えた層です。 NULLの処理、重複排除、型変換、テーブル間の結合（例: イベント + ユーザーマスタ）をここで行います。

• 重複排除（deduplication）
• 型変換（STRING → TIMESTAMP、DECIMAL変換など）
• NULLの処理（フィルタリング or デフォルト値）
• テーブル結合（Fact + Dimension）
• データ品質チェック（DLT Expectations / CHECK制約）
• ツール: MERGE INTO、Delta Live Tables、Structured Streaming + foreachBatch

# Silver層への変換（MERGE）
MERGE INTO silver.customers t
USING (
  SELECT *, ROW_NUMBER() OVER (PARTITION BY customer_id ORDER BY updated_at DESC) AS rn
  FROM bronze.raw_customers
  WHERE _ingested_at > current_timestamp() - INTERVAL 1 HOUR
  QUALIFY rn = 1
) s
ON t.customer_id = s.customer_id
WHEN MATCHED AND s.updated_at > t.updated_at THEN UPDATE SET *
WHEN NOT MATCHED THEN INSERT *;

Gold層（ビジネス最適化）

Gold層は、Silver層のデータを「特定のビジネスユースケースに最適化」した層です。 BIダッシュボード用のサマリテーブル、MLの特徴量テーブル、レポート用のワイドテーブルなどがここに置かれます。

• 集約テーブル（日次/月次の売上サマリなど）
• ワイドテーブル（非正規化して結合済みのテーブル）
• ML特徴量テーブル（Feature Store用）
• KPIテーブル（ダッシュボード直結）

-- Gold層の集約テーブル
CREATE OR REPLACE TABLE gold.daily_sales_summary AS
SELECT
  date_trunc('day', order_date) AS sale_date,
  region,
  product_category,
  COUNT(*) AS order_count,
  SUM(amount) AS total_amount,
  AVG(amount) AS avg_amount
FROM silver.orders o
JOIN silver.customers c ON o.customer_id = c.customer_id
GROUP BY 1, 2, 3;

各層の比較

Delta Live Tables（DLT）との関係

Delta Live Tables（DLT）は、Medallion Architectureを宣言的に実装するためのDatabricksの機能です。 各層のテーブルを @dlt.table デコレータで定義し、層間の依存関係をDLTが自動管理します。 データ品質チェック（Expectations）も組み込めるため、Silver層の品質保証が簡潔に書けます。

import dlt
from pyspark.sql.functions import *

@dlt.table(comment="Bronze: raw events")
def bronze_events():
    return (spark.readStream
      .format("cloudFiles")
      .option("cloudFiles.format", "json")
      .load("/data/landing/")
    )

@dlt.table(comment="Silver: cleaned events")
@dlt.expect_or_drop("valid_amount", "amount > 0")
def silver_events():
    return dlt.read_stream("bronze_events").filter("event_type IS NOT NULL")

試験で問われるポイント

• Bronze / Silver / Gold 各層の役割と違い
• 各層でのデータ品質の期待値
• Bronze層の取り込みにはAuto Loaderが推奨される理由
• Silver層での主な処理（重複排除、型変換、結合）
• Gold層は「特定のユースケースに最適化」した層であること
• DLTとMedallionの関係

問題で確認

よくある質問