Fabric Pipeline vs Azure Data Factory 完全比較｜Activity・Trigger・Integration Runtime・選定基準

両方とも GUI ベースの ETL / ELT オーケストレーションサービスで、機能的に重複。Fabric Pipeline: Microsoft Fabric Workspace 内で動作、Fabric Lakehouse / Warehouse / KQL Database と密接統合、課金は Fabric Capacity (CU)、Activity 種類はやや限定的だが Fabric ネイティブサービス連携が強力、新規 Fabric プロジェクト向け。Azure Data Factory (ADF): 独立した Azure リソース、ADLS Gen2 / Synapse / Databricks / SQL DB / オンプレなど 90+ Connector、課金は Activity Run 単位 + Integration Runtime 時間、エンタープライズ ETL の長期実績、既存プロジェクトの保守。判断: 新規 Fabric ベースプロジェクト → Fabric Pipeline、既存 ADF プロジェクトの継続保守 → ADF、Fabric + 非 Fabric リソース統合 → 両方併用。Microsoft は Fabric Pipeline への投資を加速、長期的には Fabric Pipeline が主流になる見込みです。

Dataflow Gen2 は Microsoft Fabric の Data Engineering / Data Factory Workload で提供される Power Query ベースの ETL ツール。従来の Dataflow Gen1 (Power BI 内) の進化版で、Fabric Workspace で独立した Item として作成。代表的な機能: 1) Power Query Online で 300+ コネクタからのデータ取り込み (SaaS・Database・File)、2) Visual ETL 編集 (M Language ベースだが GUI 中心)、3) Output Destination として Lakehouse / Warehouse / KQL Database / SQL DB を指定、4) Pipeline からの呼び出し可能 (Activity として組み込み)、5) Auto-Schema 推論。代表的なユースケース: 1) SaaS データ (Salesforce・SAP・Dynamics 365) の取り込み、2) Power BI ユーザーが慣れた Power Query 言語で ETL、3) SQL アナリスト・ビジネスユーザー向けの低コード ETL。Pipeline (Activity ベース・Orchestration) と Dataflow Gen2 (データ変換特化) は補完関係、両方組み合わせるのが標準です。

Fabric Pipeline / ADF の主要 Activity: 1) Copy Activity (Source → Sink へのデータコピー、90+ Connector 対応、最も汎用)、2) Notebook Activity (Fabric Notebook 実行・Synapse Notebook 実行)、3) Stored Procedure Activity (Warehouse Stored Procedure 実行)、4) Dataflow Activity (Dataflow Gen2 実行)、5) Lookup Activity (Data Source から値取得・後続 Activity 入力)、6) ForEach Activity (Loop 制御)、7) If Condition / Switch Activity (分岐制御)、8) Wait Activity (待機)、9) Execute Pipeline Activity (Pipeline 呼び出し・Modular 構成)、10) Web Activity (REST API 呼び出し)、11) Set Variable / Append Variable Activity (Pipeline 変数操作)、12) Validation Activity (条件チェック)。Pipeline = Activity の組み合わせで複雑な ETL ワークフローを GUI で構築、依存関係 (Success / Failure / Completion / Skipped) で柔軟な分岐制御が可能です。

Pipeline 実行の Trigger: 1) Schedule Trigger (CRON 式または定期間隔、毎時・毎日・毎週)、2) Tumbling Window Trigger (重複なし時間ウィンドウ単位、データ取り込みの過去日付処理に最適)、3) Event-based Trigger (Storage Account Blob 作成・削除・Event Grid 統合、リアクティブ ETL)、4) Manual Trigger (Pipeline UI から手動実行)、5) Pipeline Run from Pipeline (Execute Pipeline Activity 経由)。代表的な使い分け: 1) 毎日深夜のバッチ ETL → Schedule、2) リアルタイム Blob Upload → Event-based、3) 過去データの遡及処理 → Tumbling Window、4) Ad-hoc 実行 → Manual。本番運用では Schedule Trigger が最も一般的、Event-based でリアルタイム性を確保、Tumbling Window でデータ整合性を保証するのが標準パターンです。

ADF / Synapse Pipeline の Integration Runtime (IR) は、データ統合処理を実行するコンピュート環境。3 種類: 1) Azure IR (Microsoft マネージド、Azure 内 PaaS から Public Network 経由でデータ取得、最も簡単・スケーラブル・標準的)、2) Self-hosted IR (オンプレ・VNet 内に IR Agent インストール、オンプレ DB・VNet 内 SQL DB・Private Endpoint 経由アクセス、ネットワーク分離環境に必須)、3) Azure-SSIS IR (既存 SSIS Package のリフト&シフト実行、SQL Server SSIS 移行向け)。Self-hosted IR は単一インスタンス (最大 4 ノード冗長化) で、ノード数増やすほど並列処理性能向上。本番運用では Azure IR + Self-hosted IR の組み合わせ (オンプレ部分は Self-hosted・Azure 部分は Azure IR) が標準パターン。Fabric Pipeline は Integration Runtime 概念がやや簡素化されており、Fabric Capacity 内で動作します。

Mapping Data Flow は ADF / Synapse Pipeline で提供される Visual Data Transformation 機能、内部で Spark Job として動作。Source → Transformation (Filter・Aggregate・Join・Pivot・Sink) → Sink の GUI で ETL ロジック設計、コード不要。代表的な Transformation: 1) Filter (行フィルタリング)、2) Derived Column (新規列計算)、3) Aggregate (Group By + 集計)、4) Join (複数 Source 結合)、5) Lookup (Reference Data 検索)、6) Pivot / Unpivot (列方向変換)、7) Surrogate Key (連番付与)、8) Window (Window Function)、9) Conditional Split (条件分岐)、10) Sink (出力先指定)。Mapping Data Flow は Spark Job として裏で動作するため、大量データ処理可能 (TB 級)。Fabric Pipeline には Mapping Data Flow は提供されず、代わりに Dataflow Gen2 + Notebook で同等機能を実装するのが Fabric の設計思想です。

ADF コスト要素: 1) Activity Run 料金 (Copy Activity・Lookup など 1 回 0.001 USD 程度)、2) Data Movement (DIU 時間 × DIU 数、データ転送量に応じてスケール)、3) Pipeline Activity 実行時間、4) Self-hosted IR Node の VM 料金 (本番 4 ノード冗長で月数十万円規模)。Fabric Pipeline コスト: Fabric Capacity (CU) のみ、Pipeline / Notebook / Dataflow すべて CU 共有。最適化施策: 1) Copy Activity の DIU を Auto から固定値 (4 DIU 標準) に変更、Data Movement コスト予測可能化、2) 不要 Trigger 停止 (頻繁実行 Schedule の見直し)、3) Self-hosted IR の Auto Scale 設定、4) Pipeline の並列実行数調整 (同時 Activity 数制限)、5) Fabric Pipeline の Pause / Resume 活用、6) Activity Log を Azure Monitor 送信して継続最適化。本番運用では月次 Pipeline 実行履歴レビューが必須で、Activity 実行回数の異常増加を早期検知することが重要です。

DP-700 (Fabric Data Engineer Associate) で Fabric Pipeline が深く問われる本領域の本命認定 (Pipeline Activity・Trigger・Dataflow Gen2・Notebook 統合)。DP-203 (Azure Data Engineer Associate、2024-03 リタイア済) では ADF が中核トピックだった。AZ-305 (Solutions Architect Expert) でアーキテクト視点での ETL ツール選定、DP-300 (DBA) で Pipeline + SQL DB 統合、AI-103 (2026-06 GA) で Pipeline + Azure AI Foundry のデータ準備パイプライン。データエンジニアにとって Pipeline / Data Factory の理解は必須スキル、Fabric Pipeline は今後の主流ツールとして重点学習推奨です。