Snowpipeとは？自動データ取り込み

Snowpipeは、クラウドストレージに到着したファイルをSnowflakeテーブルへ自動的かつ継続的にロードするサーバーレスのデータ取り込みサービスです。S3・Azure Blob Storage・GCSに新規ファイルが配置されると、イベント通知を起点にSnowpipeが起動し、数分以内にターゲットテーブルへデータが反映されます。SnowPro Core試験ではData Loading / Data Transformationドメインで頻出のトピックです。

Snowpipeのアーキテクチャ

Snowpipeの処理は、Cloud Services Layer上のサーバーレスコンピュートで実行されます。ユーザーのVirtual Warehouseを消費せず、ロードしたデータ量に基づくServerless Creditで課金されます。この仕組みにより、Warehouseを常時起動しておく必要がありません。

Cloud Storage (S3 / Blob / GCS)
  │  ファイル到着
  ▼
Event Notification (SQS / EventGrid / Pub/Sub)
  │  通知メッセージ
  ▼
Snowpipe (Cloud Services Layer - Serverless)
  │  COPY INTO 実行
  ▼
Target Table (Storage Layer)

Auto-ingest：SQS通知による自動取り込み

Auto-ingestは、AWSの場合はS3イベント通知（SQS）をSnowpipeに直接連携する方式です。ファイルがS3バケットに到着するたびにSQSメッセージがSnowpipeのキューに送信され、自動的にロード処理が開始されます。Azure（EventGrid）やGCP（Pub/Sub）でも同等の仕組みが利用可能です。

-- Auto-ingest対応パイプの作成
CREATE OR REPLACE PIPE sales_pipe
  AUTO_INGEST = TRUE
AS
COPY INTO analytics.raw_sales
FROM @sales_stage/daily/
FILE_FORMAT = (TYPE = CSV SKIP_HEADER = 1 FIELD_OPTIONALLY_ENCLOSED_BY = '"')
ON_ERROR = 'SKIP_FILE';

AUTO_INGEST = TRUEを指定すると、Snowflakeが内部的にSQSキューのARNを生成します。このARNをS3バケットのイベント通知設定に紐づけることで、ファイル到着トリガのパイプラインが完成します。

REST APIによるトリガ

Auto-ingestを使わず、外部のオーケストレーションツール（Airflow、AWS Lambda等）からSnowpipe REST APIを呼び出してロードをトリガする方式もあります。insertFilesエンドポイントにファイルパスのリストをPOSTすることで、指定ファイルだけをロードできます。

-- REST API用パイプ（AUTO_INGEST = FALSE）
CREATE OR REPLACE PIPE batch_pipe
AS
COPY INTO analytics.raw_events
FROM @event_stage/
FILE_FORMAT = (TYPE = PARQUET);

-- パイプのステータス確認
SELECT SYSTEM$PIPE_STATUS('batch_pipe');

REST APIトリガは、既存のワークフロー管理ツールとSnowpipeを統合したい場合や、ロードタイミングを外部から精密に制御したい場合に有効です。

COPY_HISTORYによるロード監視

Snowpipeのロード結果はCOPY_HISTORYで確認します。INFORMATION_SCHEMA版はリアルタイム性が高く直近14日間、ACCOUNT_USAGE版は最大1年間の履歴を保持します。

-- 直近24時間のロード履歴を確認
SELECT
  file_name,
  stage_location,
  status,
  row_count,
  error_count,
  first_error_message,
  last_load_time
FROM TABLE(INFORMATION_SCHEMA.COPY_HISTORY(
  TABLE_NAME => 'ANALYTICS.RAW_SALES',
  START_TIME => DATEADD(HOURS, -24, CURRENT_TIMESTAMP())
))
ORDER BY last_load_time DESC;

SnowpipeとSnowpipe Streamingの比較

Snowpipe Streamingは2023年にGAとなった行レベルのリアルタイム取り込み機能です。ファイルを経由しないため、レイテンシがサブ秒レベルまで短縮されます。

COPY INTOとの使い分け

COPY INTOはWarehouse上で実行する一括ロードコマンドです。Snowpipeとの根本的な違いは、実行基盤と起動トリガにあります。

運用ベストプラクティス

• ファイルサイズの最適化：Snowpipeは小さなファイルでも動作しますが、100〜250MB程度の圧縮ファイルが最もコスト効率が良いとされています
• ON_ERRORオプション：本番環境ではSKIP_FILEを設定し、エラーファイルを隔離して後から個別対処する設計が安定します
• PIPE_USAGE_HISTORYでコスト監視：ACCOUNT_USAGE.PIPE_USAGE_HISTORYビューでパイプごとのクレジット消費を追跡します
• 冪等性の確保：ファイル名にタイムスタンプやUUIDを含め、14日間のメタデータ保持期間内での重複排除を確実にします

問題で確認

よくある質問