Azure Data Lake Storage Gen2 (ADLS Gen2) 完全設計｜HNS・Medallion Architecture・Partition 戦略

Azure Data Lake Storage Gen2 (ADLS Gen2) は、Azure Blob Storage に階層名前空間 (Hierarchical Namespace, HNS) を追加した、大規模分析用ストレージ。Blob 互換 API + HDFS 互換 API (ABFS Driver) の両方をサポート、Spark / Hadoop / Databricks / Synapse / Fabric などの分析エンジンから直接アクセス可能。HNS により POSIX ライク (ディレクトリ・ファイル単位の権限・atomic rename) で動作し、ビッグデータワークロードの性能・操作性が大幅向上。Storage Account 作成時に『Hierarchical Namespace』Enable を選択して構成。代表的なユースケース: データレイク・データウェアハウス Landing Zone・ML データセット・IoT 集積データ・ログアーカイブ。Microsoft Fabric の OneLake も内部的に ADLS Gen2 ベースです。

HNS の主要メリット: 1) Atomic rename: ディレクトリ単位の rename が瞬時 (Blob では全 Blob を Copy → Delete で時間と料金大)、Spark / Hadoop の Job 完了時の Output Directory Rename が劇的高速化、2) Atomic delete: ディレクトリ単位の削除が瞬時、3) POSIX ACL: ディレクトリ・ファイル単位での詳細権限制御 (Blob は Container レベルのみ)、4) パスベースのクエリ性能向上 (List 操作・Filter 操作)、5) HDFS 互換 API (ABFS Driver) で Spark / Hadoop からのアクセスが自然、6) Lifecycle Management の粒度向上 (パス条件で柔軟ルール)。Blob Storage と同じ Tier (Hot/Cool/Cold/Archive)・Replication・暗号化を継承。料金は Blob とほぼ同じ (HNS Transaction の若干高めの単価あり)、デメリットはほぼなく、新規データレイク用途は ADLS Gen2 一択というのが現代の標準です。

Medallion Architecture は、データレイクの品質階層的データパイプライン設計パターン。Bronze (Raw Layer): ソースシステムからのデータをそのまま取り込み (CSV・JSON・Parquet・Avro)、スキーマ正規化なし、不変・追記専用、Lineage 追跡可能。Silver (Cleansed Layer): Bronze データをクレンジング・重複除去・スキーマ統一・JOIN・型変換、ビジネスエンティティ単位 (例: 顧客マスタ・注文トラン)、Delta Lake / Parquet 形式が標準。Gold (Curated Layer): Silver データを集計・Aggregate・ビジネスメトリクス算出、ダッシュボード / レポート / ML 学習データ直接利用、Star Schema 設計が一般的。標準ディレクトリ構造: container/bronze/source/yyyy/mm/dd/・container/silver/entity/yyyy/mm/dd/・container/gold/business/yyyy/mm/。Databricks・Fabric Lakehouse・Synapse の標準パターンで、データ品質保証・トレーサビリティ・再処理容易性を実現します。

ADLS Gen2 の Partition 戦略は分析性能とコストを大きく左右。代表的なパーティション戦略: 1) 日付パーティション (yyyy=2026/mm=05/dd=24/): 時系列データに最適、Predicate Pushdown (Spark が必要パーティションのみ読込) で性能劇的向上。2) ハッシュパーティション (region=us/customer_hash=001/): 並列処理の均等性、Hot Partition 回避。3) 複合パーティション (yyyy/mm/dd/region/category/): 多次元分析向け、過剰パーティション化に注意 (1 PB データを 100 万パーティションに分割すると List 性能劣化)。Best Practice: 1 パーティションあたり 1 GB-1 TB が目安、過剰細分化を避ける。Delta Lake では Z-Order・Liquid Clustering でパーティションに加えてセカンダリ並び替え可能。Spark の partitionBy() メソッドでパーティション書き込み、Lifecycle Management で古いパーティション自動削除 / Archive 移動。

ABFS (Azure Blob File System) Driver は、ADLS Gen2 にアクセスする Hadoop 互換 Driver。URI 形式: abfss://[email protected]/path/file。abfss は TLS 暗号化版 (推奨)、abfs は非暗号化版 (非推奨)。Spark / Hadoop / Databricks / Synapse / Fabric が標準サポート。認証方式: 1) Storage Account Key (シンプルだがレガシー)、2) SAS Token (時限付きアクセス)、3) Service Principal (推奨、Workload Identity Federation 経由)、4) Managed Identity (Azure 内サービス間、最推奨)。Spark での例: spark.conf.set('fs.azure.account.auth.type.<storage>.dfs.core.windows.net', 'OAuth') + Managed Identity 構成。Databricks Unity Catalog では External Location で ABFS URI を Catalog に登録して統一管理、Spark コード側で URI を直接書く必要が排除されます。

ADLS Gen2 は『Azure RBAC』『POSIX ACL』『Storage Account Key』『SAS Token』の 4 層のアクセス制御。Azure RBAC: Subscription / Resource Group / Storage Account / Container レベル、Microsoft Entra ID Principal (User / Group / Service Principal / Managed Identity) に Storage Blob Data Reader / Contributor などの Built-in Role 付与、大粒度。POSIX ACL: ディレクトリ・ファイル単位の Read / Write / Execute 権限、Owner / Group / Others の伝統的 POSIX モデル + Named User / Named Group / Default ACL の拡張、細粒度。両者は AND 評価 (両方で許可されたアクセスのみ通る) で、推奨パターンは『Azure RBAC で大粒度 (Container) 権限付与 + POSIX ACL で詳細制御 (Bronze は Engineering Team Read/Write・Silver は Analytics Team Read のみ)』。Databricks Unity Catalog 統合環境では Unity Catalog が抽象化レイヤとして機能し、POSIX ACL 直接管理は不要になります。

ADLS Gen2 は Blob Storage と同じ Lifecycle Management Policy を活用可能。代表的なルール: 1) Bronze データ作成後 30 日で Hot → Cool 移行、90 日で Cool → Cold、365 日で Cold → Archive、2,555 日 (7 年) で削除、2) Silver データは Hot 維持 + 古い日付パーティション削除 (再生成可能なため Backup 不要)、3) Gold データは Hot 維持・Backup 必須、4) ログデータは 1 週間 Hot → 30 日 Cool → 365 日 Cold → 5 年 Archive → 削除、5) 中間データ (Spark Shuffle・Intermediate) は 7 日後削除。本番運用ではコスト削減効果が劇的 (年間数百万-数千万円規模)、必須機能。Cold ティア (2022 GA、Archive より高速取り出し可能・コストはやや高) を活用したコスト効率も向上。Last Accessed Tracking + Auto Tier 機能で更にスマートな自動最適化も可能です。

DP-700 (Fabric Data Engineer Associate) で OneLake (内部 ADLS Gen2) が深く問われる本領域の本命認定。DP-203 (Azure Data Engineer Associate、2024-03 リタイア済) で ADLS Gen2 が中核。AZ-104 (Administrator) のドメイン 2 で Storage 全般、AZ-305 (Solutions Architect Expert) でアーキテクト視点でのデータレイク設計、DP-300 (DBA) でデータ統合、AI-103 (2026-06 GA) で AI / ML データセットストレージ。Databricks 認定 (Data Engineer Associate / Professional) でも ADLS Gen2 が基盤として頻出。データエンジニアにとって ADLS Gen2 の理解は必須スキルです。