Dataflow / Apache Beam 入門｜ストリーミング・バッチ統合パイプライン

Dataflow は Google Cloud のサーバレスデータ処理サービスで、Apache Beam SDK で書いたパイプラインをマネージド実行します。 ストリーミングとバッチを同じコードで処理できる Unified モデルが特徴で、Pub/Sub → BigQuery の ETL パターンの標準ツールです。

Apache Beam Unified Model

• PCollection: 分散データセット (Streaming / Batch 共通)
• PTransform: 変換処理 (Map, Filter, GroupBy 等)
• Pipeline: PTransform の連鎖
• Runner: 実行エンジン (Dataflow / Spark / Flink / Direct)

Window / Trigger / Watermark

• Watermark: 「これより古いデータは来ない」境界を Beam が推定
• Trigger: AfterWatermark / AfterProcessingTime / AfterCount
• Late Data: Watermark 経過後のデータをどう扱うか (破棄 / 再集計)

Dataflow vs Dataflow Prime

• Dataflow: 標準、Worker タイプ手動指定
• Dataflow Prime: Vertical Autoscaling (CPU/メモリ自動調整)、Right-fitting (Stage 別最適化)、Streaming Engine 内蔵

主要機能

• Autoscaling: Worker 数の自動調整 (Streaming は変動激しい時に効果大)
• Streaming Engine: 状態管理を Dataflow 側にオフロード (Worker 軽量化)
• Dataflow Shuffle: シャッフル処理をマネージドに (大規模 Batch で効果)
• FlexRS: Spot VM 利用で 40% コスト削減 (Batch のみ)
• Templates: 事前構築 + Flex Template でカスタム
• Notebooks 統合: Vertex AI Workbench から開発

典型的なパイプライン: Pub/Sub → BigQuery

# Python Apache Beam
import apache_beam as beam
from apache_beam.options.pipeline_options import PipelineOptions, StandardOptions

options = PipelineOptions(streaming=True)

with beam.Pipeline(options=options) as p:
  (p
   | "Read from Pub/Sub" >> beam.io.ReadFromPubSub(topic='projects/PROJECT/topics/events')
   | "Parse JSON" >> beam.Map(lambda msg: json.loads(msg))
   | "Window" >> beam.WindowInto(beam.window.FixedWindows(60))
   | "Group by user" >> beam.GroupByKey()
   | "Write to BQ" >> beam.io.WriteToBigQuery(
       'PROJECT:dataset.events',
       schema='user_id:STRING,count:INTEGER,window_start:TIMESTAMP',
       write_disposition=beam.io.BigQueryDisposition.WRITE_APPEND)
  )

料金体系

他ツール比較

典型的なユースケース

• IoT テレメトリのリアルタイム集計
• Web ログ → BigQuery ストリーミング ETL
• CDC (Datastream → Dataflow → BQ)
• 不正検知 (Pub/Sub → Dataflow ML → アラート)
• 音声/動画パイプライン (GCS → Dataflow → ML)

※ Google Cloud、Apache Beam は各々の商標保有者の所有物です。最新情報は Dataflow 公式 をご確認ください。