Microsoft Fabric Lakehouse 入門｜OneLake・Shortcut・Direct Lake・Medallion 実装

Microsoft Fabric Lakehouse は、Microsoft Fabric の Data Engineering Workload で提供される統合データプラットフォームで、Data Lake と Data Warehouse の両方の特性を併せ持つ『Lakehouse』アーキテクチャの Microsoft 実装。内部的に Delta Parquet 形式で OneLake (Fabric の統一ストレージ) に保管、Apache Spark で処理。SQL Endpoint で Read-only T-SQL クエリも可能、Power BI Direct Lake モードで超低レイテンシ分析。代表的なユースケース: 1) データレイク + データウェアハウスの統合、2) Bronze / Silver / Gold Medallion Architecture の実装、3) PySpark でのデータ処理、4) Notebook ベースのインタラクティブ開発。DP-700 (Fabric Data Engineer Associate) 試験の中核トピックで、Azure Synapse / Databricks の後継として急速に普及中の最新データプラットフォームです。

Lakehouse: Apache Spark ベース、PySpark / Spark SQL / Scala でのデータ処理、Delta Lake 形式、構造化 + 半構造化 + 非構造化データ全対応、Notebook ベースの開発、Auto Loader でのストリーミング取り込み、Schema-on-Read 柔軟。Warehouse: T-SQL ベース、Microsoft SQL エンジンで動作、ACID トランザクション + Distributed Query、構造化データ中心、ストアドプロシージャ・関数対応、Schema-on-Write 厳密、BI / レポート向け最適化。判断: 1) Big Data・ML・Streaming → Lakehouse、2) SQL アナリスト・BI レポート → Warehouse、3) 両方混在 → 同一 OneLake 上で両方を運用可能 (Cross-warehouse Query で結合可)。新規 Fabric プロジェクトでは『Lakehouse (Bronze/Silver) + Warehouse (Gold)』のハイブリッド構成が標準パターン、データエンジニアと BI 開発者が同じデータ基盤で協業可能になります。

OneLake は Fabric の統一ストレージレイヤ、すべての Fabric ワークロード (Lakehouse・Warehouse・KQL Database・Power BI Semantic Model) が共有。内部的に ADLS Gen2 ベースで Delta Parquet 形式。Shortcut: 外部データソースを OneLake に論理参照する機能 (実データコピーなし)、対応: 1) ADLS Gen2 Storage Account、2) Amazon S3、3) Google Cloud Storage、4) Dataverse、5) 別 Workspace の OneLake。代表的なユースケース: 1) 既存 ADLS Gen2 データを Fabric から直接活用 (移行不要)、2) AWS S3 のマルチクラウドデータ統合、3) 複数 Workspace 間のデータ共有 (アクセス権限管理は元 Workspace 維持)。Shortcut により Fabric は『データ移動なしのデータ統合』を実現、クラウド横断のデータレイク戦略の中核技術となっています。

Direct Lake は Microsoft Fabric の Power BI Semantic Model 接続モードの 1 つで、Lakehouse / Warehouse の Delta Parquet データを直接 Power BI で分析する高速モード。従来の Power BI 接続モード比較: 1) Import Mode (データを Power BI にコピー、最速だが Fresh ではない、定期 Refresh 必要)、2) DirectQuery (クエリごとに Source へ、Fresh だが遅い)、3) Direct Lake (Delta Parquet を直接読み込み、Import 並みの速度 + Fresh データ)。動作: Delta Parquet ファイルを Power BI が直接メモリ Load → ユーザークエリ実行 → Lakehouse / Warehouse の最新データで分析。Refresh 不要 (常に最新)、Import より大規模データ対応 (10 億行+ も対応)。Power BI Premium / Fabric Capacity 必須。Fabric の最大の差別化機能の 1 つで、データエンジニアと BI 開発者の連携を大幅に効率化します。

Fabric Workspace で Lakehouse 作成: 1) Workspace → New Item → Lakehouse → 名前指定で作成 (数秒で完了)、2) Lakehouse Explorer で Tables (Delta Tables) と Files (Raw Files) の 2 セクションが表示、3) Files にファイルアップロード (CSV・JSON・Parquet・各種形式)、4) Notebook で PySpark コード実行してデータ処理、5) df.write.format('delta').saveAsTable('table_name') で Delta Table 作成、6) SQL Endpoint で T-SQL クエリ実行、7) Power BI Semantic Model 自動作成 (Direct Lake 接続) で BI 分析。代表的な Spark コード例: spark.read.format('csv').load('Files/raw/').filter(F.col('amount') > 0).write.format('delta').saveAsTable('cleaned_data')。Notebook と Lakehouse を統合した Fabric の開発体験は、Databricks に近い感覚で Microsoft エコシステム内で完結する利点があります。

Fabric Lakehouse での Medallion 実装パターン: 1) Lakehouse Workspace に Bronze / Silver / Gold の 3 つの Lakehouse 作成 (環境分離)、または同一 Lakehouse 内で Schema/Folder 分離、2) Bronze: Files にソースデータをそのまま配置 (CSV・JSON・Parquet)、または Tables にスキーマ最小限の Delta Table、3) Silver: Bronze から PySpark で読み込み → クレンジング・JOIN・型変換 → Delta Table 化、4) Gold: Silver から集計・Aggregate → Star Schema または Wide Table で Delta Table 化、5) Pipeline で Bronze → Silver → Gold の依存関係を Orchestration、6) Power BI Direct Lake で Gold を分析。Fabric Notebook で各段階を実装、Spark Session の Persistent Connection で開発効率向上。Databricks 経験者なら短期間で習熟可能、新規データエンジニアにも分かりやすい構成です。

Fabric の課金単位は Capacity Unit (CU)、SKU は F2 (2 CU)・F4・F8・F16・F32・F64・F128・F256・F512・F1024・F2048 (2048 CU)。Lakehouse の Spark 計算リソースは CU から動的割り当て、Pipeline Activity・Power BI Refresh・Notebook 実行などすべての処理が CU を消費。価格例: F64 (本番標準・約 64 万円/月)・F128 (約 130 万円/月)。コスト最適化: 1) 開発環境は F2 / F4 (Pause 可能)・本番のみ F64+、2) Reserved Instance (1 年契約) で約 41% 割引、3) Auto Scale で需要連動、4) Pause 機能で業務時間外停止 (Dev / Stage)、5) Capacity Metrics App で利用パターン分析・Right-sizing、6) Workload 別 Capacity 分離 (Lakehouse Heavy 処理は別 Capacity に)。本番運用では Capacity Metrics で月次 Right-sizing が標準パターンです。

DP-700 (Fabric Data Engineer Associate) で Fabric Lakehouse が深く問われる本領域の本命認定 (Lakehouse 構築・Notebook・PySpark・Pipeline・Power BI Direct Lake 統合)。DP-600 (Fabric Analytics Engineer Associate) で BI / モデリング寄りの Lakehouse 活用、AZ-305 (Solutions Architect Expert) でアーキテクト視点での Fabric 採用判断、AI-103 (2026-06 GA) で Lakehouse + Azure AI Foundry の RAG 基盤統合。Databricks 認定 (Data Engineer Associate / Professional) との二刀流もマルチクラウドデータ基盤プロジェクトで評価。Microsoft Fabric は今後 5-10 年の Azure データ基盤の主軸として位置付けられており、データエンジニアにとって必須スキルです。