DBFS と Volumes の違いと移行ガイド｜5軸比較・移行SQL・廃止スケジュール

Databricksで非テーブルファイル（CSV、JSON、画像、設定ファイル等）を扱うとき、 従来はDBFS（Databricks File System）が使われてきました。しかしUnity Catalogの登場以降、 Volumesが新しい標準として推奨されています。この記事では、DBFSとVolumesの違いを5つの軸で比較し、 既存DBFSからVolumesへの具体的な移行手順を解説します。

DBFS（Databricks File System）概要

DBFSはDatabricksワークスペースに組み込まれたファイルシステム抽象レイヤーです。 クラウドストレージ（S3 / ADLS / GCS）をdbfs:/パスでマウントし、 ローカルファイルシステムのようにアクセスできます。

• DBFS Root: ワークスペース作成時に自動的に用意される既定のストレージ
• DBFS Mount: 外部のクラウドストレージをdbfs:/mnt/...にマウントして使う方式
• パス形式: dbfs:/mnt/data/sales.csv または /dbfs/mnt/data/sales.csv

DBFSの最大の問題はガバナンスの欠如です。DBFSはワークスペースACLで管理されるため、 Unity Catalogの権限（GRANT/REVOKE）が適用されず、誰がどのファイルにアクセスしたかの 詳細な監査も困難です。

Volumes概要

VolumesはUnity Catalogの名前空間に属するファイルストレージです。/Volumes/<catalog>/<schema>/<volume>/のパスで、 Unity Catalogの権限制御・監査・リネージがファイルにも適用されます。

• Managed Volume: ストレージのライフサイクルをUCが管理（DROP時にデータ削除）
• External Volume: 既存のクラウドストレージパスを参照（DROP時はメタデータのみ削除）
• パス形式: /Volumes/prod/raw/landing/sales.csv

5軸比較表

DBFSの具体的な制約

• ワークスペースを横断したファイル共有ができない
• マウントの認証情報がワークスペースに紐づくため、Credentialのローテーション時に全マウントの再設定が必要
• DBFS Rootに書き込まれたデータは暗号化キーの管理がユーザー側で困難
• Unity Catalogのリネージにファイル操作が反映されない
• 同一マウントにアクセスする全ユーザーに同じ権限が適用されるため、最小権限の原則が実現しにくい

移行手順

ステップ1: 現在のDBFS利用状況の棚卸し

# DBFSマウントの一覧を取得
mounts = dbutils.fs.mounts()
for m in mounts:
    print(f"Mount: {m.mountPoint} -> {m.source}")

# DBFS Root のファイル一覧
files = dbutils.fs.ls("dbfs:/")
for f in files:
    print(f.name, f.size, f.isDir())

ステップ2: 移行先Volumeの作成

-- 既存のS3パスをExternal Volumeとして登録（データコピー不要）
CREATE EXTERNAL VOLUME prod.raw.legacy_mount
LOCATION 's3://my-legacy-bucket/data/'
COMMENT 'DBFSマウントから移行したExternal Volume';

-- 新規ファイル用にManaged Volumeを作成
CREATE VOLUME prod.raw.new_landing
COMMENT '新規パイプライン用のManaged Volume';

ステップ3: ファイルのコピー（Managed Volumeの場合）

# DBFSからVolumesへファイルをコピー
dbutils.fs.cp(
    "dbfs:/mnt/old-landing/sales/",
    "/Volumes/prod/raw/new_landing/sales/",
    recurse=True
)

# コピー結果の確認
files = dbutils.fs.ls("/Volumes/prod/raw/new_landing/sales/")
print(f"Copied {len(files)} files")

ステップ4: パイプラインのパス書き換え

# Before: DBFSパス
df = spark.read.csv("dbfs:/mnt/old-landing/sales/2026/*.csv")

# After: Volumesパス
df = spark.read.csv("/Volumes/prod/raw/new_landing/sales/2026/*.csv")

ステップ5: 権限の設定

-- 読み取り権限
GRANT READ VOLUME ON VOLUME prod.raw.new_landing TO `data-analysts`;

-- 書き込み権限
GRANT WRITE VOLUME ON VOLUME prod.raw.new_landing TO `data-engineers`;

ステップ6: DBFSマウントの解除

# 移行完了後にマウントを解除
dbutils.fs.unmount("/mnt/old-landing")

レガシーDBFSの段階的廃止

Databricksは2024年以降、DBFS Rootへのデフォルトアクセスを制限する方向で進めています。 新規ワークスペースではDBFS Rootの書き込みがデフォルト無効になるケースが増えています。

• DBFS Rootの書き込み制限: 新規ワークスペースではデフォルト無効（管理者が有効化可能）
• マウントの非推奨化: External VolumeまたはExternal Locationへの移行を推奨
• dbutils.fs.mount()の将来的な廃止: 具体的な廃止日は未定だが、移行計画の策定を推奨

試験で問われるポイント

• DBFSパスとVolumesパスの形式の違い
• VolumesがDBFSより推奨される理由（ガバナンス・監査・ワークスペース横断）
• External VolumeでDBFSマウントを置き換えられること
• DBFS RootにUC権限が適用されないこと
• 移行時にdbutils.fs.cpでファイルをコピーする手順

問題で確認

よくある質問