Snowflake Storage Integrationsで実現する外部ステージの安全な認証

Storage Integrationは、Snowflakeが外部クラウドストレージ（S3・Azure Blob・GCS）へ アクセスする際の認証を一元管理するオブジェクトです。 ステージ定義にアクセスキーやシークレットを埋め込む代わりに、 クラウドプロバイダ側のIAMロールやサービスプリンシパルへのアクセス委任を設定することで、 長期鍵の配布・管理が不要になります。

Storage Integrationの仕組み

Storage Integrationを作成すると、Snowflakeは内部的にクラウドプロバイダ固有のサービスアカウント （AWSの場合はIAMユーザーARN）を生成します。 このサービスアカウントに対してクラウド側でロールの引き受け（Assume Role）を許可する Trust Policyを設定することで、Snowflakeが安全にストレージへアクセスできるようになります。

認証フロー（AWS S3の場合）

┌──────────────────────┐
│  Snowflake           │
│  Storage Integration │
│  (STORAGE_AWS_IAM_   │
│   USER_ARN を保持)   │
└────────┬─────────────┘
         │ 1. Assume Role リクエスト
         │    (External ID を付与)
         ▼
┌──────────────────────┐
│  AWS IAM Role        │
│  (Trust Policy で    │
│   Snowflake ARN +    │
│   External ID を許可)│
└────────┬─────────────┘
         │ 2. 一時クレデンシャル発行
         ▼
┌──────────────────────┐
│  S3 Bucket           │
│  /orders/            │
│  (IAM Roleの権限で   │
│   読み取り/書き込み)  │
└──────────────────────┘

CREATE STORAGE INTEGRATION（AWS S3）

-- AWS S3用 Storage Integration
CREATE OR REPLACE STORAGE INTEGRATION s3_orders_int
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'S3'
  ENABLED = TRUE
  STORAGE_AWS_ROLE_ARN = 'arn:aws:iam::123456789012:role/snowflake-access-role'
  STORAGE_ALLOWED_LOCATIONS = (
    's3://company-data-lake/orders/',
    's3://company-data-lake/returns/'
  )
  STORAGE_BLOCKED_LOCATIONS = (
    's3://company-data-lake/orders/secrets/'
  );

CREATE STORAGE INTEGRATION（Azure Blob）

-- Azure Blob Storage用 Storage Integration
CREATE OR REPLACE STORAGE INTEGRATION azure_data_int
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'AZURE'
  ENABLED = TRUE
  AZURE_TENANT_ID = 'a]1b2c3d4-e5f6-7890-abcd-ef1234567890'
  STORAGE_ALLOWED_LOCATIONS = (
    'azure://myaccount.blob.core.windows.net/data-container/input/'
  );

CREATE STORAGE INTEGRATION（GCS）

-- Google Cloud Storage用 Storage Integration
CREATE OR REPLACE STORAGE INTEGRATION gcs_analytics_int
  TYPE = EXTERNAL_STAGE
  STORAGE_PROVIDER = 'GCS'
  ENABLED = TRUE
  STORAGE_ALLOWED_LOCATIONS = (
    'gcs://analytics-bucket/raw/',
    'gcs://analytics-bucket/processed/'
  );

DESCRIBE INTEGRATIONの出力

Storage Integration作成後、DESCRIBE INTEGRATIONでSnowflakeが生成した サービスアカウント情報を取得します。この値をクラウド側のTrust Policyに設定します。

DESC INTEGRATION s3_orders_int;

-- 主要な出力項目（AWSの場合）
-- ┌─────────────────────────────┬──────────────────────────────────────┐
-- │ property                    │ property_value                       │
-- ├─────────────────────────────┼──────────────────────────────────────┤
-- │ STORAGE_AWS_IAM_USER_ARN    │ arn:aws:iam::987654321098:user/abc123│
-- │ STORAGE_AWS_EXTERNAL_ID     │ ABC123_SFCRole=2_dGVzdA==            │
-- │ STORAGE_ALLOWED_LOCATIONS   │ s3://company-data-lake/orders/,...   │
-- │ STORAGE_BLOCKED_LOCATIONS   │ s3://company-data-lake/orders/sec... │
-- └─────────────────────────────┴──────────────────────────────────────┘

IAM Trust Policy設定（AWS）

DESCRIBE INTEGRATIONで取得したSTORAGE_AWS_IAM_USER_ARNとSTORAGE_AWS_EXTERNAL_IDを AWS側のIAMロールのTrust Policyに設定します。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::987654321098:user/abc123"
      },
      "Action": "sts:AssumeRole",
      "Condition": {
        "StringEquals": {
          "sts:ExternalId": "ABC123_SFCRole=2_dGVzdA=="
        }
      }
    }
  ]
}

IAMロールにはS3バケットへのGetObject / ListBucket（読み取り）、 必要に応じてPutObject / DeleteObject（書き込み）の権限を付与します。

External Stageの作成

-- Storage Integrationを参照するExternal Stage
CREATE OR REPLACE STAGE ext_orders_stage
  URL = 's3://company-data-lake/orders/'
  STORAGE_INTEGRATION = s3_orders_int
  FILE_FORMAT = (TYPE = 'PARQUET');

-- ステージ上のファイル確認
LIST @ext_orders_stage;

-- データロード
COPY INTO ORDERS
  FROM @ext_orders_stage
  PATTERN = '.*\.parquet'
  ON_ERROR = 'CONTINUE';

-- データアンロード
COPY INTO @ext_orders_stage/export/
  FROM ORDERS
  FILE_FORMAT = (TYPE = 'PARQUET')
  HEADER = TRUE;

直接認証 vs Storage Integration 比較表

権限モデル

-- 権限付与の例
-- ACCOUNTADMINがIntegrationを作成
USE ROLE ACCOUNTADMIN;
CREATE STORAGE INTEGRATION s3_orders_int ...;

-- データエンジニアロールにUSAGE権限を付与
GRANT USAGE ON INTEGRATION s3_orders_int TO ROLE DATA_ENGINEER;

-- DATA_ENGINEERがステージを作成
USE ROLE DATA_ENGINEER;
CREATE STAGE ext_orders
  URL = 's3://company-data-lake/orders/'
  STORAGE_INTEGRATION = s3_orders_int;

トラブルシューティング

サンプル問題

よくある質問