Cloud Composer / Apache Airflow 完全ガイド｜DAG・Operator・Workflows 比較

Cloud Composer は GCP 上で Apache Airflow をマネージド実行するサービスで、データパイプライン・ETL・ML オーケストレーションの標準ツールです。 Python で DAG (Directed Acyclic Graph) を定義し、定期実行・依存関係解決・リトライ・モニタリングを自動化できます。

Composer バージョン比較

DAG 例 (BigQuery ETL)

from airflow import DAG
from airflow.providers.google.cloud.operators.bigquery import BigQueryInsertJobOperator
from datetime import datetime, timedelta

default_args = {
    'owner': 'data-team',
    'retries': 2,
    'retry_delay': timedelta(minutes=5),
}

with DAG(
    'daily_user_aggregation',
    default_args=default_args,
    schedule_interval='0 2 * * *',  # 毎日 2:00 JST
    start_date=datetime(2026, 1, 1),
    catchup=False,
) as dag:
    aggregate = BigQueryInsertJobOperator(
        task_id='aggregate_users',
        configuration={
            "query": {
                "query": """
                    INSERT INTO analytics.daily_users
                    SELECT DATE(event_timestamp) AS d, COUNT(DISTINCT user_id) AS dau
                    FROM raw.events
                    WHERE DATE(event_timestamp) = CURRENT_DATE() - 1
                    GROUP BY 1
                """,
                "useLegacySql": False,
            }
        },
    )

主要 Operator

• BigQueryInsertJobOperator / BigQueryToGCSOperator
• DataflowStartFlexTemplateOperator
• DataprocSubmitJobOperator
• GCSToBigQueryOperator
• PubSubPublishMessageOperator
• CloudRunExecuteJobOperator (2023〜)
• KubernetesPodOperator (任意の Pod 実行)
• PythonOperator / BashOperator
• VertexAITrainingOperator / BatchPredictionOperator

料金例 (Composer 2, asia-northeast1)

Composer / Workflows / Dataform 比較

他 Airflow / オーケストレータ比較

典型的なユースケース

• 日次バッチ ETL (Pub/Sub / API → BigQuery)
• Dataflow / Dataproc ジョブの起動と依存管理
• Vertex AI 学習・推論パイプライン
• GCS ファイル監視 → 加工 → BigQuery 読み込み
• マルチクラウド連携 (AWS / オンプレ DB → BigQuery)
• SaaS データ統合 (Salesforce / Marketo → BQ)

ベストプラクティス

• DAG は Idempotent (再実行可能) に設計
• Pool / Slot で並列度制御
• Connection / Variable は Airflow UI または Secret Manager で管理
• Sensor は Reschedule mode でリソース節約
• 長時間タスクは KubernetesPodOperator で隔離
• DAG コードを Cloud Storage で同期 + Git 連携

※ Google Cloud、Apache Airflow は各々の商標保有者の所有物です。最新情報は Cloud Composer 公式 をご確認ください。