Snowflake Notification Integrations: QUEUE/EMAIL/WEBHOOK連携とSnowpipe自動トリガー

Notification Integrationは、Snowflakeと外部の通知サービスを安全に接続するオブジェクトです。 クラウドのメッセージキュー（QUEUE）、メール（EMAIL）、 HTTPSエンドポイント（WEBHOOK）の3タイプがあり、 Snowpipeの自動トリガー、タスク失敗通知、アラート発火など幅広い用途で使用されます。

3つのタイプの概要

QUEUE型: クラウドキュー連携

Snowpipeの自動トリガーで最も使用されるタイプです。 クラウドプロバイダーごとにパラメータが異なります。

AWS SQS連携

-- AWS SQS用のNotification Integration
CREATE OR REPLACE NOTIFICATION INTEGRATION aws_s3_notification
  ENABLED = TRUE
  TYPE = QUEUE
  NOTIFICATION_PROVIDER = AWS_SQS
  DIRECTION = INBOUND
  AWS_SQS_ARN = 'arn:aws:sqs:ap-northeast-1:123456789012:snowpipe-queue'
  AWS_SQS_ROLE_ARN = 'arn:aws:iam::123456789012:role/snowflake-sqs-role';

-- Integration情報の確認（SF_AWS_IAM_USER_ARN / SF_AWS_EXTERNAL_IDを取得）
DESCRIBE NOTIFICATION INTEGRATION aws_s3_notification;

Azure Storage Queue連携

-- Azure Storage Queue用のNotification Integration
CREATE OR REPLACE NOTIFICATION INTEGRATION azure_blob_notification
  ENABLED = TRUE
  TYPE = QUEUE
  NOTIFICATION_PROVIDER = AZURE_STORAGE_QUEUE
  DIRECTION = INBOUND
  AZURE_STORAGE_QUEUE_PRIMARY_URI =
    'https://myaccount.queue.core.windows.net/snowpipe-queue'
  AZURE_TENANT_ID = 'xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx';

DESCRIBE NOTIFICATION INTEGRATION azure_blob_notification;

GCS Pub/Sub連携

-- GCS Pub/Sub用のNotification Integration
CREATE OR REPLACE NOTIFICATION INTEGRATION gcs_notification
  ENABLED = TRUE
  TYPE = QUEUE
  NOTIFICATION_PROVIDER = GCP_PUBSUB
  DIRECTION = INBOUND
  GCP_PUBSUB_SUBSCRIPTION_NAME =
    'projects/my-project/subscriptions/snowpipe-sub';

DESCRIBE NOTIFICATION INTEGRATION gcs_notification;

Snowpipe自動トリガー連携

QUEUE型Notification IntegrationとSnowpipeを組み合わせて、 ファイルがクラウドストレージに到着した時点で自動的にデータを取り込みます。

-- Snowpipeの作成（Notification Integration参照）
CREATE OR REPLACE PIPE raw_data_pipe
  AUTO_INGEST = TRUE
  INTEGRATION = aws_s3_notification
  AS
  COPY INTO raw.events
  FROM @raw.s3_stage/events/
  FILE_FORMAT = (TYPE = 'PARQUET')
  MATCH_BY_COLUMN_NAME = CASE_INSENSITIVE;

-- Pipeの状態確認
SHOW PIPES LIKE 'RAW_DATA_PIPE';
SELECT SYSTEM$PIPE_STATUS('raw_data_pipe');

-- Pipeのコピー履歴
SELECT *
FROM TABLE(INFORMATION_SCHEMA.COPY_HISTORY(
  TABLE_NAME => 'RAW.EVENTS',
  START_TIME => DATEADD('HOUR', -24, CURRENT_TIMESTAMP())
));

EMAIL型: メール通知

EMAIL型はAlert機能やストアドプロシージャからメール通知を送信する際に使用します。

-- Email Notification Integrationの作成
CREATE OR REPLACE NOTIFICATION INTEGRATION email_alerts
  ENABLED = TRUE
  TYPE = EMAIL
  ALLOWED_RECIPIENTS = (
    '[email protected]',
    '[email protected]'
  );

-- Alert機能でのメール通知（異常検知の例）
CREATE OR REPLACE ALERT high_cost_alert
  WAREHOUSE = monitor_wh
  SCHEDULE = '60 MINUTE'
  IF (EXISTS (
    SELECT 1
    FROM TABLE(INFORMATION_SCHEMA.WAREHOUSE_METERING_HISTORY(
      DATE_RANGE_START => DATEADD('HOUR', -1, CURRENT_TIMESTAMP())
    ))
    WHERE CREDITS_USED > 100
  ))
  THEN
    CALL SYSTEM$SEND_EMAIL(
      'email_alerts',
      '[email protected]',
      'Snowflake高コストアラート',
      '直近1時間のクレジット消費が100を超えました。確認してください。'
    );

ALTER ALERT high_cost_alert RESUME;

WEBHOOK型: HTTPSエンドポイント連携

-- Webhook Notification Integrationの作成
CREATE OR REPLACE NOTIFICATION INTEGRATION slack_webhook
  ENABLED = TRUE
  TYPE = WEBHOOK
  WEBHOOK_URL = 'https://hooks.slack.com/services/T00/B00/xxxxx'
  WEBHOOK_SECRET = snowflake.secrets.slack_secret
  WEBHOOK_BODY_TEMPLATE = '{
    "text": "SNOWFLAKE_WEBHOOK_MESSAGE"
  }'
  WEBHOOK_HEADERS = ('Content-Type' = 'application/json');

権限設計

-- Integration作成（ACCOUNTADMINで実行）
USE ROLE ACCOUNTADMIN;

-- 作成済みIntegrationの使用権限を付与
GRANT USAGE ON INTEGRATION aws_s3_notification
  TO ROLE data_engineer_role;
GRANT USAGE ON INTEGRATION email_alerts
  TO ROLE monitoring_role;

-- data_engineer_roleでSnowpipeを作成
USE ROLE data_engineer_role;
CREATE PIPE ... INTEGRATION = aws_s3_notification ...;

トラブルシューティング

試験で問われるポイント

• QUEUE型はSnowpipeのAUTO_INGESTに必須。クラウドプロバイダーごとにパラメータが異なる
• EMAIL型はALLOWED_RECIPIENTSでメール送信先を制限する
• Integration作成はACCOUNTADMINの権限が必要
• DESCRIBE INTEGRATIONでクラウド側のIAM設定に必要な情報（ARN / External ID等）を取得する
• Snowpipeの自動取り込みフロー: S3イベント → SQS → Notification Integration → Snowpipe → COPY INTO

問題で確認

よくある質問