Cloud Scheduler + Cloud Functions/Run で定期バッチ自動化チュートリアル

Cloud Scheduler は GCP のマネージド cron で、Cloud Functions / Cloud Run / Pub/Sub / HTTP を定期トリガーできます。 本記事では認証 + リトライ + 並列実行 + Workflows 連携まで実装パターンを網羅します。

パターン 1: Scheduler → Cloud Functions

# Function (Python)
import functions_framework

@functions_framework.http
def daily_report(request):
    # 処理: BigQuery 集計 → Email 送信
    from google.cloud import bigquery
    client = bigquery.Client()
    rows = client.query("SELECT COUNT(*) FROM analytics.events WHERE DATE(timestamp)=CURRENT_DATE()").result()
    # SendGrid でメール送信...
    return "OK"

# デプロイ
gcloud functions deploy daily-report \
  --gen2 --runtime=python311 --region=asia-northeast1 \
  --trigger-http --no-allow-unauthenticated \
  [email protected]

# Scheduler 設定 (OIDC 認証)
gcloud scheduler jobs create http daily-report-job \
  --schedule="0 9 * * *" \
  --time-zone="Asia/Tokyo" \
  --uri="https://asia-northeast1-PROJECT.cloudfunctions.net/daily-report" \
  --http-method=POST \
  --oidc-service-account-email=scheduler-sa@PROJECT.iam.gserviceaccount.com \
  --oidc-token-audience="https://asia-northeast1-PROJECT.cloudfunctions.net/daily-report"

パターン 2: Scheduler → Pub/Sub → 複数 Subscriber

# Pub/Sub Topic
gcloud pubsub topics create daily-trigger

# Scheduler → Pub/Sub
gcloud scheduler jobs create pubsub daily-trigger-job \
  --schedule="0 9 * * *" \
  --time-zone="Asia/Tokyo" \
  --topic=daily-trigger \
  --message-body="run"

# Subscriber 複数 (Fan-out)
gcloud pubsub subscriptions create report-sub --topic=daily-trigger \
  --push-endpoint=https://my-report-service.run.app
gcloud pubsub subscriptions create cleanup-sub --topic=daily-trigger \
  --push-endpoint=https://my-cleanup-service.run.app

パターン 3: Scheduler → Cloud Run Job (並列バッチ)

# Cloud Run Job (Python)
import os, sys
def main():
    task_index = int(os.environ.get("CLOUD_RUN_TASK_INDEX", 0))
    task_count = int(os.environ.get("CLOUD_RUN_TASK_COUNT", 1))
    # task_index に応じて担当範囲を処理
    print(f"Processing task {task_index}/{task_count}")

if __name__ == "__main__":
    main()

# Job 作成 (並列度 10)
gcloud run jobs create daily-batch-job \
  --image=asia-northeast1-docker.pkg.dev/PROJECT/repo/batch:v1 \
  --region=asia-northeast1 \
  --tasks=10 \
  --max-retries=3 \
  --task-timeout=3600

# Scheduler から Job 実行
gcloud scheduler jobs create http run-daily-batch \
  --schedule="0 2 * * *" \
  --time-zone="Asia/Tokyo" \
  --uri="https://asia-northeast1-run.googleapis.com/apis/run.googleapis.com/v1/namespaces/PROJECT/jobs/daily-batch-job:run" \
  --http-method=POST \
  --oauth-service-account-email=scheduler-sa@PROJECT.iam.gserviceaccount.com

パターン 4: Scheduler → Workflows (多段)

# Workflow YAML
main:
  steps:
    - extract:
        call: googleapis.cloudfunctions.v2.functions.call
        args: { name: projects/.../functions/extract }
        result: extract_result
    - transform:
        call: googleapis.cloudfunctions.v2.functions.call
        args: { name: projects/.../functions/transform }
        result: transform_result
    - load:
        call: googleapis.cloudfunctions.v2.functions.call
        args: { name: projects/.../functions/load }

# Workflow デプロイ
gcloud workflows deploy etl-workflow --source=etl.yaml --location=asia-northeast1

# Scheduler → Workflow
gcloud scheduler jobs create http etl-trigger \
  --schedule="0 3 * * *" \
  --uri="https://workflowexecutions.googleapis.com/v1/projects/PROJECT/locations/asia-northeast1/workflows/etl-workflow/executions" \
  --http-method=POST \
  --oauth-service-account-email=scheduler-sa@PROJECT.iam.gserviceaccount.com

cron 形式チートシート

リトライ・エラーハンドリング

• Scheduler 自動リトライ: 最大 5 回、Exponential Backoff (5s 〜 1h)
• Cloud Functions: 7 日間メッセージ保持
• Dead Letter Topic: 失敗メッセージを別 Topic に転送
• Cloud Monitoring アラート: 連続失敗で PagerDuty 通知
• Idempotent 設計: 同一処理を複数回実行しても安全に

典型的なユースケース

• 日次 DB バックアップ (Firestore Export / Cloud SQL Backup)
• 定期レポート生成 + Slack/Email 配信
• Cache クリア
• SaaS データ同期 (Salesforce → BQ)
• 不要リソース停止 (夜間 VM 停止)
• 定期 ML 学習 (週次 Continuous Training)

※ Google Cloud は Google LLC の商標です。最新は Cloud Scheduler 公式 をご確認ください。