Snowflake External VolumesとIceberg連携の構築手順

External Volumeは、SnowflakeがApache Iceberg Tableのデータファイル （Parquet）とメタデータを格納するための外部クラウドストレージの場所を定義するオブジェクトです。 S3・Azure Blob Storage・Google Cloud Storageをデータの永続化先として指定し、 Snowflakeの計算エンジンでIceberg形式のテーブルを読み書きできます。

External VolumeとIceberg Tableの関係

Snowflake
  │
  ├─ CREATE ICEBERG TABLE ... EXTERNAL_VOLUME = 'my_vol'
  │    └─ テーブルメタデータ: Snowflake Catalog or External Catalog
  │
  └─ External Volume (my_vol)
       │
       └─ クラウドストレージ
            ├─ data/     ← Parquetデータファイル
            └─ metadata/ ← Icebergメタデータ（manifest, snapshot）

AWS S3用External Volumeの作成

CREATE OR REPLACE EXTERNAL VOLUME iceberg_s3_vol
  STORAGE_LOCATIONS = (
    (
      NAME = 'us-east-1-primary'
      STORAGE_BASE_URL = 's3://my-iceberg-bucket/warehouse/'
      STORAGE_PROVIDER = 'S3'
      STORAGE_AWS_ROLE_ARN = 'arn:aws:iam::123456789012:role/snowflake-iceberg-role'
    )
  );

-- External Volumeの情報を確認してAWS側のIAM設定を行う
DESCRIBE EXTERNAL VOLUME iceberg_s3_vol;
-- → STORAGE_AWS_IAM_USER_ARN
-- → STORAGE_AWS_EXTERNAL_ID
-- これらをAWS IAMロールの信頼ポリシーに設定

Azure Blob Storage用External Volumeの作成

CREATE OR REPLACE EXTERNAL VOLUME iceberg_azure_vol
  STORAGE_LOCATIONS = (
    (
      NAME = 'azure-east-primary'
      STORAGE_BASE_URL = 'azure://myaccount.blob.core.windows.net/iceberg-container/warehouse/'
      STORAGE_PROVIDER = 'AZURE'
      AZURE_TENANT_ID = 'a1b2c3d4-e5f6-7890-abcd-ef1234567890'
    )
  );

-- DESCRIBE後にAzure ADでサービスプリンシパルに権限付与

Google Cloud Storage用External Volumeの作成

CREATE OR REPLACE EXTERNAL VOLUME iceberg_gcs_vol
  STORAGE_LOCATIONS = (
    (
      NAME = 'gcs-us-primary'
      STORAGE_BASE_URL = 'gcs://my-iceberg-bucket/warehouse/'
      STORAGE_PROVIDER = 'GCS'
    )
  );

-- DESCRIBE後にGCPサービスアカウントにStorage Admin権限を付与

クラウド別設定比較

Snowflakeカタログ管理のIceberg Table作成

-- Snowflake管理カタログでIceberg Tableを作成
-- Snowflakeがメタデータとデータの両方を管理（読み書き可能）
CREATE OR REPLACE ICEBERG TABLE analytics.events.user_actions (
  event_id STRING,
  user_id INT,
  event_type STRING,
  event_timestamp TIMESTAMP_NTZ,
  properties OBJECT
)
  CATALOG = 'SNOWFLAKE'
  EXTERNAL_VOLUME = 'iceberg_s3_vol'
  BASE_LOCATION = 'analytics/user_actions/';

-- 通常のテーブルと同様にDML操作が可能
INSERT INTO analytics.events.user_actions
VALUES ('evt-001', 12345, 'page_view', '2026-03-27 10:00:00', PARSE_JSON('{"page": "/home"}'));

SELECT * FROM analytics.events.user_actions
WHERE event_timestamp >= '2026-03-27';

外部カタログ連携のIceberg Table作成

-- AWS Glue Data Catalogとの連携
-- 先にCatalog Integrationを作成
CREATE OR REPLACE CATALOG INTEGRATION glue_catalog
  CATALOG_SOURCE = GLUE
  CATALOG_NAMESPACE = 'analytics_db'
  TABLE_FORMAT = ICEBERG
  GLUE_AWS_ROLE_ARN = 'arn:aws:iam::123456789012:role/snowflake-glue-role'
  GLUE_CATALOG_ID = '123456789012'
  GLUE_REGION = 'us-east-1'
  ENABLED = TRUE;

-- 外部カタログ管理のIceberg Table（読み取り専用）
CREATE OR REPLACE ICEBERG TABLE analytics.events.external_events
  EXTERNAL_VOLUME = 'iceberg_s3_vol'
  CATALOG = 'glue_catalog'
  CATALOG_TABLE_NAME = 'events';

カタログ管理方式の比較

External Volumeの管理コマンド

-- 一覧表示
SHOW EXTERNAL VOLUMES;

-- 詳細確認（IAM設定に必要な情報を取得）
DESCRIBE EXTERNAL VOLUME iceberg_s3_vol;

-- External Volumeの削除（参照するIceberg Tableを先に削除する必要あり）
DROP EXTERNAL VOLUME iceberg_s3_vol;

ベストプラクティス

• External Volumeはチーム/ドメインごとに分離：IAM権限の最小化とコスト追跡の観点から、用途別にExternal Volumeとバケットを分ける
• BASE_LOCATIONで論理的にパス分離：同一External Volume内にテーブルを作成する場合はBASE_LOCATIONで明確にパスを分離する
• Snowflakeカタログを優先：Snowflakeで読み書きする場合はSnowflakeカタログを使用し、マルチエンジンアクセスが必要な場合のみ外部カタログを検討する
• ストレージのライフサイクルルール：Icebergのスナップショット管理と合わせて、古いデータファイルのアーカイブ/削除ルールを設定する

問題で確認

よくある質問