Snowflake Iceberg Tables完全ガイド｜オープンテーブル形式の構築と運用

Iceberg Tablesは、SnowflakeでApache Icebergオープンテーブル形式のテーブルを 作成・管理する機能です。データはParquetファイルとしてExternal Volume上の クラウドストレージに格納され、Icebergのメタデータ（マニフェスト・スナップショット）を通じて ACIDトランザクション・スキーマ進化・タイムトラベルが実現されます。 Spark・Trino・Flink等の他エンジンからも同じデータにアクセスできるオープンデータレイクハウスの基盤です。

Apache Icebergの基本構造

Iceberg Table
  │
  ├─ Catalog（メタデータ管理）
  │    ├─ Snowflake Catalog（Snowflakeが管理）
  │    └─ External Catalog（AWS Glue, Hive Metastore等）
  │
  ├─ Metadata Layer
  │    ├─ metadata file (JSON) ← テーブルスキーマ、パーティション仕様
  │    ├─ manifest list        ← スナップショットごとのマニフェスト一覧
  │    └─ manifest file        ← データファイルの一覧と統計情報
  │
  └─ Data Layer
       └─ Parquet files        ← 実際のデータ（列指向圧縮）

Snowflakeカタログ管理のIceberg Table

Snowflakeがメタデータとデータの両方を管理する形式です。INSERT/UPDATE/DELETE/MERGEの全DML操作が可能で、通常のSnowflakeテーブルとほぼ同じ操作感で利用できます。

-- 前提: External Volumeが作成済み
-- (CREATE EXTERNAL VOLUMEの詳細はExternal Volumesの記事を参照)

-- Snowflakeカタログ管理のIceberg Table作成
CREATE OR REPLACE ICEBERG TABLE analytics.lakehouse.web_events (
  event_id STRING NOT NULL,
  user_id INT,
  event_type STRING,
  page_url STRING,
  event_timestamp TIMESTAMP_NTZ,
  properties OBJECT,
  session_id STRING
)
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'iceberg_s3_vol'
  BASE_LOCATION = 'analytics/web_events/';

-- DML操作が可能
INSERT INTO analytics.lakehouse.web_events
VALUES (
  'evt-001', 12345, 'page_view', '/products/123',
  '2026-03-27 14:30:00',
  OBJECT_CONSTRUCT('referrer', 'google.com', 'device', 'mobile'),
  'sess-abc'
);

-- UPDATE
UPDATE analytics.lakehouse.web_events
SET properties = OBJECT_INSERT(properties, 'processed', TRUE)
WHERE event_id = 'evt-001';

-- DELETE
DELETE FROM analytics.lakehouse.web_events
WHERE event_timestamp < DATEADD(YEAR, -2, CURRENT_TIMESTAMP());

外部カタログ管理のIceberg Table

-- AWS Glue Data Catalogとの連携

-- Step 1: Catalog Integrationの作成
CREATE OR REPLACE CATALOG INTEGRATION glue_catalog_int
  CATALOG_SOURCE = GLUE
  CATALOG_NAMESPACE = 'analytics_db'
  TABLE_FORMAT = ICEBERG
  GLUE_AWS_ROLE_ARN = 'arn:aws:iam::123456789012:role/snowflake-glue-role'
  GLUE_CATALOG_ID = '123456789012'
  GLUE_REGION = 'us-east-1'
  ENABLED = TRUE;

-- Step 2: 外部カタログ管理のIceberg Table作成（読み取り専用）
CREATE OR REPLACE ICEBERG TABLE analytics.lakehouse.spark_events
  EXTERNAL_VOLUME = 'iceberg_s3_vol'
  CATALOG = 'glue_catalog_int'
  CATALOG_TABLE_NAME = 'web_events';

-- 読み取りクエリは通常通り実行可能
SELECT event_type, COUNT(*) AS cnt
FROM analytics.lakehouse.spark_events
WHERE event_timestamp >= '2026-03-01'
GROUP BY event_type
ORDER BY cnt DESC;

-- メタデータのリフレッシュ（外部で更新された場合）
ALTER ICEBERG TABLE analytics.lakehouse.spark_events REFRESH;

カタログ管理方式の詳細比較

スキーマ進化

-- 列の追加（Snowflakeカタログの場合）
ALTER ICEBERG TABLE analytics.lakehouse.web_events
  ADD COLUMN country_code STRING;

-- 列名の変更
ALTER ICEBERG TABLE analytics.lakehouse.web_events
  RENAME COLUMN page_url TO url;

-- 列の削除
ALTER ICEBERG TABLE analytics.lakehouse.web_events
  DROP COLUMN session_id;

Icebergのスキーマ進化は後方互換性を維持します。列の追加後も、追加前のスナップショットのデータは新列がNULLとして読み取られます。列のリネームは内部的にフィールドIDで管理されるため、既存のParquetファイルの書き換えは発生しません。

タイムトラベル

-- 特定時点のデータを照会
SELECT * FROM analytics.lakehouse.web_events
AT (TIMESTAMP => '2026-03-26 00:00:00'::TIMESTAMP_NTZ);

-- スナップショット一覧の確認
SELECT *
FROM TABLE(INFORMATION_SCHEMA.ICEBERG_TABLE_SNAPSHOTS(
  TABLE_NAME => 'analytics.lakehouse.web_events'
));

通常テーブル vs Iceberg Table

通常テーブルからIceberg Tableへの変換

-- CTAS（CREATE TABLE AS SELECT）で変換
CREATE OR REPLACE ICEBERG TABLE analytics.lakehouse.web_events_iceberg
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'iceberg_s3_vol'
  BASE_LOCATION = 'analytics/web_events_iceberg/'
AS
  SELECT * FROM analytics.standard.web_events;

ベストプラクティス

• マルチエンジンアクセスが不要ならば通常テーブルを使う：Snowflakeのみで利用する場合は通常テーブルの方がDML性能が高く、管理もシンプル
• Snowflakeカタログを第一選択にする：DML操作が必要な場合はSnowflakeカタログを使い、外部カタログは既存Sparkパイプラインとの統合時に選択する
• 外部カタログ利用時は定期的にREFRESH：Sparkなどが外部で更新した変更はREFRESHを実行しないとSnowflake側に反映されない
• BASE_LOCATIONで論理的にパス分離：テーブルごとに異なるBASE_LOCATIONを指定し、クラウドストレージ上のデータを整理する
• スナップショットの定期的な管理：古いスナップショットが蓄積するとメタデータが肥大化するため、データ保持ポリシーを設定する

問題で確認

よくある質問