Lakeflow Connect Free Tier — 1 日 1 億レコードを無料で取り込む

Lakeflow Connect Free Tier は、Databricks が 2026 年に FabCon で発表したマネージドコネクタの無料利用枠です。各 Workspace に対して1 日 100 DBU = 約 1 億レコードの取り込みが無料で提供されます。 これは年間換算で約 190 万円相当のコスト削減に相当し、Fivetran や Stitch といった 従来 ETL SaaS の代替を狙う革命的な施策です。

本記事では、Free Tier の正確な無料枠の中身・対応コネクタ全リスト・他 ETL ツールとの徹底比較・セットアップ手順・本番運用のベストプラクティスを完全解説します。

Lakeflow Connect Free Tier とは

Lakeflow Connect は、Databricks のマネージド SaaS / DB データ取り込みサービス。従来 SaaS データを Databricks に取り込むには、Fivetran / Stitch / Airbyte 等の外部 ETL ツール、または自前で Python スクリプトを組む必要がありました。Lakeflow Connect はDatabricks 公式の純正マネージドコネクタとして、これを「設定だけ」で実現します。

2026 年 FabCon で発表された Free Tier は、その Lakeflow Connect に対して各 Workspace 1 日 100 DBU の無料クレジットを付与するもの。 コネクタ実行時に消費する DBU が、まず無料枠から差し引かれます。

無料枠の正確な中身

1 日 100 DBU = どのくらいの取り込み量？

100 DBU を取り込みレコード数に換算すると、1 日あたり最大 1 億レコード。 これは多くの中規模企業の日次取り込み量を十分カバーする量です。

具体例:

• HubSpot Contacts: 10 万件を 1 時間ごとに同期 → 1 日 240 万件 → 余裕で無料枠内
• Google Analytics ヒット数: 月間 1 億 PV のサイトで、日次取り込みなら 333 万行 → 余裕で無料枠内
• Salesforce オブジェクト: 50 万件を 30 分ごとに同期 → 1 日 2,400 万件 → 無料枠内
• 大規模 EC の注文データ: 1 日 100 万件 + 顧客 50 万件 + 商品 10 万件 → 完全に無料枠内

年間 $12,775 (約 190 万円) の補助

Premium tier の DBU 単価は $0.35。100 DBU/日 × 365 日 × $0.35 = $12,775/年 = 約 190 万円。各 Workspace に対してこの額が補助される計算になります。

マルチ Workspace 構成 (例: 開発/ステージング/本番で 3 つ) なら年間 570 万円相当。 中堅企業の ETL ツール予算をほぼ完全にカバーします。

対象コネクタの全リスト

Free Tier 対象のマネージドコネクタは以下の通り (2026 年 5 月時点)。

SaaS / マーケティング

• Google Analytics
• Google Ads
• HubSpot
• Meta (Facebook / Instagram 広告)
• TikTok Ads

業務 SaaS

• Workday (人事)
• ServiceNow (IT サービス管理)
• Dynamics 365 (Microsoft CRM/ERP)
• Zendesk (カスタマーサポート)
• Jira (プロジェクト管理)
• Confluence (ナレッジ管理)

データベース・DWH

• SQL Server
• Oracle
• PostgreSQL
• MySQL
• Snowflake
• BigQuery

マーケティング、営業、人事、財務、IT、エンジニアリングの全領域を Free Tier だけでカバー可能です。

Free Tier の対象外

以下はFree Tier の対象外で、通常料金が発生します。

Zerobus Ingest

低遅延ストリーミング取り込み専用機能。リアルタイム要件 (数秒〜数分の遅延) があるシナリオで使用。Free Tier には含まれず、通常 DBU 課金。

Structured Streaming ソース (Kafka 等)

Apache Kafka 等のストリーミングプラットフォームからの取り込みは Structured Streaming 機能を使うため、Free Tier 対象外。リアルタイムイベント基盤を持つ組織は別途予算が必要。

Community Connector

Databricks 公式ではない第三者製のコネクタは Free Tier 対象外。ただし将来的に公式化される可能性のあるものも多く、要件次第で公式コネクタへの切り替えを検討。

File Source Connector (Auto Loader 等)

S3 / ADLS / GCS のファイル取り込み (Auto Loader) は通常 DBU 課金。既存のデータレイクからの取り込みは引き続き有料です。

Fivetran / Stitch / Airbyte との徹底比較

vs Fivetran

• Fivetran の優位: 500+ のコネクタ、成熟度、複数プラットフォーム対応 (Snowflake / BigQuery / Redshift 等)
• Lakeflow Connect Free Tier の優位: コスト劇的に安い、Databricks ネイティブ、Unity Catalog 統合、設定の簡単さ
• 料金比較: Fivetran は MAR (Monthly Active Rows) 課金、中規模で月 $1,500-5,000 が標準。Lakeflow Connect Free Tier ならゼロから始められる
• 選択基準: Databricks 集約なら Lakeflow Connect、マルチクラウド ETL なら Fivetran

vs Stitch

• Stitch の優位: シンプルさ、OSS Singer ベース、料金体系の予測可能性
• Lakeflow Connect Free Tier の優位: 無料、Databricks 統合、AI 機能との連携
• 選択基準: Stitch を既に使っているなら段階的移行検討、新規ならまず Lakeflow Connect

vs Airbyte (OSS / Cloud)

• Airbyte の優位: OSS 完全無料、自前運用可能、コミュニティコネクタ豊富
• Lakeflow Connect Free Tier の優位: マネージド、運用ゼロ、Databricks 統合、エンタープライズサポート
• 選択基準: 自前で運用する技術力があるなら Airbyte、マネージドが良いなら Lakeflow Connect

vs 自前 Python スクリプト

• 自前スクリプトの優位: 完全カスタマイズ、追加コストなし
• Lakeflow Connect Free Tier の優位: 開発工数ゼロ、運用工数ゼロ、認証管理が自動
• 選択基準: 一過性の取り込みなら自前、継続運用なら Lakeflow Connect

セットアップ手順 — 15 分で完了

例: HubSpot から Databricks へ Contact データを 1 時間ごとに取り込む。

ステップ 1: Workspace で Lakeflow Connect を有効化

Workspace 管理者が Settings から「Lakeflow Connect」を有効化。既に有効な場合はスキップ。

ステップ 2: 新規 Pipeline を作成

サイドバーから「Lakeflow Connect」→「New Pipeline」→ コネクタ一覧から「HubSpot」を選択。

ステップ 3: HubSpot 認証

OAuth フローで HubSpot にログイン。読み取り権限を付与。

ステップ 4: 取り込み対象を選択

Contacts、Deals、Companies、Tickets、Notes 等から必要なオブジェクトを選択 (複数可)。

ステップ 5: 出力先 Unity Catalog の指定

Catalog / Schema を選択。テーブル名は自動生成 (例: `hubspot_contacts`)。

ステップ 6: スケジュール設定

cron 表記で実行頻度を指定 (例: 1 時間ごと = `0 * * * *`)。

ステップ 7: 実行 → 自動取り込み開始

以降は自動で取り込みが継続。Unity Catalog のテーブルを Delta Lake / DBSQL / Genie Space で参照可能に。

本番運用のベストプラクティス

1. スケジュール頻度の最適化

リアルタイム性が不要なデータは、頻度を抑えて DBU 消費を最小化。1 時間ごと → 6 時間ごとなど。 100 DBU/日の枠内に収めるよう、複数コネクタの合計を計算しておく。

2. Workspace の使い分け

100 DBU/日はWorkspace 単位で付与されるため、開発・ステージング・本番で別 Workspace を使えば 300 DBU/日相当の無料枠が得られます。

3. Lakehouse Sync との組み合わせ

Lakeflow Connect で SaaS データを取り込み → Lakebase で OLTP 処理 → Lakehouse Sync で Delta テーブルに書き戻し、という一気通貫の構成が可能。マーケティングオートメーション・パーソナライズドプロダクトのバックエンドとして強力。

4. データ品質チェックの自動化

取り込んだ直後に Lakehouse Monitoring でデータ品質を自動チェック。異常を Slack / PagerDuty に通知して、誤ったデータが下流に流れるのを防ぐ。

5. コスト監視

System Tables の `system.billing.usage` から Lakeflow Connect の DBU 消費を日次でモニタリング。無料枠を超えそうなら頻度を下げる、または取り込み対象を絞る対応。

どんな組織が使うべきか

絶対に使うべき: Databricks を中心に置く中堅企業

Fivetran / Stitch に月 $1,000-5,000 払っている組織は、ほぼ全額削減可能。 年間 100-500 万円の予算が浮く計算で、その分を本来の分析・ML 開発に再投資できる。

使う価値あり: スタートアップ・PoC フェーズ

まだ ETL ツールに予算を割けないスタートアップにとって、無料でプロフェッショナルグレードの ETL が手に入る。早期にデータドリブン経営の基盤を整えられる。

慎重に判断: マルチプラットフォーム組織

Databricks + Snowflake + BigQuery を併用している組織は、Lakeflow Connect で一部を置き換えるとマルチプラットフォーム ETL ツール (Fivetran 等) との二重管理になる可能性。段階的移行か、Databricks への集約を決めてから導入。

認定試験での出題予想

2026 年 5 月時点で、Data Engineer Associate / Professional の公式 Exam Guide に Lakeflow Connect は未掲載。ただし以下から、次回改定で出題対象となる可能性が極めて高いです。

• Lakeflow ファミリーは戦略的中核製品、Free Tier は普及戦略の目玉
• 「マネージド ETL」「コネクタによるデータ取り込み」は試験範囲に含まれやすいトピック
• Unity Catalog 統合は既に試験範囲、その自然な延長

先取り学習のおすすめトピック:

• Lakeflow Connect と Auto Loader / Structured Streaming の使い分け
• マネージドコネクタ vs カスタム取り込み
• Free Tier の対象範囲と料金体系
• Unity Catalog ターゲット設計

よくある質問