Delta Sharing完全解説｜オープンなデータ共有プロトコル

Delta Sharingは、組織間・プラットフォーム間でDelta Lakeテーブルを安全に共有するための世界初のオープンプロトコルです。Linux Foundation傘下で開発されており、REST APIベースのシンプルな仕組みで、データのコピーを一切作成せずにリアルタイムの共有を実現します。 プロバイダー（データ提供者）がUnity CatalogでShareオブジェクトを作成するだけで、レシピエント（受信者）はDatabricksを使っていなくても Pandas・Spark・Power BI・Tableau・dbt など任意のツールからデータにアクセスできます。

この記事では、Delta Sharingのアーキテクチャ・Unity Catalog統合・オープン共有とDatabricks-to-Databricks共有の違い・ 共有オブジェクトの種類・Change Data Feed対応・セキュリティモデル・Snowflake Data Sharingとの比較まで網羅します。Data Engineer Associate（DEA）試験のData Governanceドメインで問われるポイントも整理しています。

Delta Sharingの概要

Delta Sharingは、従来のデータ共有方法（ファイルコピー・SFTP転送・カスタムAPI構築・ETLパイプライン）が抱えていた 「データの鮮度の低さ」「運用負荷の高さ」「セキュリティ管理の煩雑さ」を根本的に解決するために設計されました。 プロトコルの核心はゼロコピー共有——プロバイダーのクラウドストレージ上のデータに対して、レシピエントが直接アクセスする方式です。

• ゼロコピー:データの複製を作らないため、ストレージコストの増加がなく、プロバイダー側の更新が即座にレシピエントに反映される
• オープンプロトコル:Apache 2.0ライセンスのOSSで、ベンダーロックインなし。受信側にDatabricksは不要
• REST APIベース:HTTPSとベアラートークンによるシンプルな認証。既存のファイアウォールやプロキシ設定で動作
• きめ細かい共有制御:テーブル全体・特定パーティション・ビュー・ノートブック出力・Volumeを個別に共有可能

アーキテクチャ

Delta Sharingは、Provider（プロバイダー）・Share・Recipient（レシピエント）の3つのコア概念と、 Delta Sharingサーバー（認証・認可・ディスカバリー）で構成されます。 DatabricksのマネージドDelta SharingではUnity CatalogがSharingサーバーの役割を担います。

┌─────────────────────────────────────────────────────────┐
│                    Provider（プロバイダー）                │
│                                                         │
│  Unity Catalog                                          │
│  ├── Share: customer_data_share                         │
│  │    ├── Schema: sales                                 │
│  │    │    ├── Table: orders (全パーティション)            │
│  │    │    └── Table: customers (region='APAC'のみ)      │
│  │    └── Schema: analytics                             │
│  │         └── View: daily_summary                      │
│  │                                                      │
│  ├── Recipient: partner_a  ──→ Token / D2D認証           │
│  └── Recipient: partner_b  ──→ Token / D2D認証           │
│                                                         │
│  Cloud Storage (S3/ADLS/GCS)                            │
│  └── Delta Lake files (Parquet + _delta_log)            │
└───────────────┬─────────────────────────────────────────┘
                │  REST API (HTTPS + Bearer Token)
                │  短期間の署名付きURL発行
                ▼
┌──────────────────────────────────────────────────────────┐
│              Recipient（レシピエント）                      │
│                                                          │
│  ┌──────────┐ ┌──────────┐ ┌────────┐ ┌──────────────┐  │
│  │ Pandas   │ │ Spark    │ │Power BI│ │ Databricks   │  │
│  │ (Python) │ │ (OSS)    │ │Tableau │ │ ワークスペース │  │
│  └──────────┘ └──────────┘ └────────┘ └──────────────┘  │
│  ※ Databricksライセンス不要（オープン共有の場合）           │
└──────────────────────────────────────────────────────────┘

データフローの流れは次のとおりです。①レシピエントが認証トークン付きでDelta Sharingサーバーにリクエスト → ②サーバーが認証・認可を検証し、対象ファイルの短期間署名付きURL（Pre-signed URL）を返却 → ③レシピエントが署名付きURLでクラウドストレージから直接Parquetファイルを読み取り。 プロバイダーのストレージに直接アクセスするため、Sharingサーバーがボトルネックにならず、大量データでもスケーラブルに動作します。

Unity Catalogとの統合

DatabricksのマネージドDelta SharingはUnity Catalogにネイティブ統合されています。 Share・Recipient・ProviderはすべてUnity Catalogのセキュアブルオブジェクトとして管理され、 GRANT/REVOKEによる権限管理・System Tablesによる監査ログ・データリネージがそのまま適用されます。

-- ========================================
-- 1. Shareオブジェクトの作成
-- ========================================
CREATE SHARE IF NOT EXISTS customer_data_share
COMMENT 'パートナー企業向け顧客データ共有';

-- ========================================
-- 2. Shareにテーブルを追加
-- ========================================
-- テーブル全体を共有
ALTER SHARE customer_data_share
ADD TABLE prod_catalog.sales.customers;

-- パーティションフィルタで部分共有（APAC地域のみ）
ALTER SHARE customer_data_share
ADD TABLE prod_catalog.sales.orders
PARTITION (region = 'APAC');

-- Change Data Feed（CDC履歴）付きで共有
ALTER SHARE customer_data_share
ADD TABLE prod_catalog.sales.transactions
WITH HISTORY;

-- ========================================
-- 3. レシピエントの作成
-- ========================================
-- オープン共有（トークンベース）
CREATE RECIPIENT IF NOT EXISTS partner_company_a
COMMENT 'Partner Company A - APAC region';

-- Databricks-to-Databricks共有
CREATE RECIPIENT partner_company_b
USING ID 'aws:us-west-2:workspace-id-12345';

-- ========================================
-- 4. レシピエントにShareへのアクセスを付与
-- ========================================
GRANT SELECT ON SHARE customer_data_share
TO RECIPIENT partner_company_a;

-- ========================================
-- 5. 共有状況の確認
-- ========================================
SHOW ALL IN SHARE customer_data_share;
SHOW GRANTS ON SHARE customer_data_share;
DESCRIBE RECIPIENT partner_company_a;

レシピエント側のアクセス方法

オープン共有のレシピエントは、プロバイダーから受け取ったプロファイルファイル（.shareファイル）を使ってデータにアクセスします。プロファイルファイルにはSharingサーバーのエンドポイントURL、 ベアラートークン、有効期限が含まれています。

# ─── プロファイルファイル（config.share）の構造 ───
# {
#   "shareCredentialsVersion": 1,
#   "endpoint": "https://<workspace>.cloud.databricks.com/api/2.0/delta-sharing/",
#   "bearerToken": "xxxxxxxxxxxxx",
#   "expirationTime": "2026-12-31T23:59:59Z"
# }

import delta_sharing

profile_file = "/path/to/config.share"

# 共有テーブルの一覧を取得
client = delta_sharing.SharingClient(profile_file)
shares = client.list_shares()
for share in shares:
    schemas = client.list_schemas(share)
    for schema in schemas:
        tables = client.list_tables(schema)
        print(f"{share.name}.{schema.name}: {[t.name for t in tables]}")

# Pandas DataFrameとして読み込み
df_pandas = delta_sharing.load_as_pandas(
    f"{profile_file}#customer_data_share.sales.customers"
)

# Spark DataFrameとして読み込み
df_spark = delta_sharing.load_as_spark(
    f"{profile_file}#customer_data_share.sales.orders"
)

# Change Data Feed（CDC履歴）の読み込み
cdf = delta_sharing.load_table_changes_as_pandas(
    f"{profile_file}#customer_data_share.sales.transactions",
    starting_version=0
)

オープン共有 vs Databricks-to-Databricks共有

Delta Sharingには2つの共有モードがあります。 レシピエントの環境やガバナンス要件に応じて使い分けます。

共有できるオブジェクト

Delta Sharingで共有可能なオブジェクトはテーブルだけではありません。Unity Catalogと統合されたDatabricks環境では、以下のオブジェクトを共有できます。

-- ビューの共有（D2Dのみ）
ALTER SHARE customer_data_share
ADD VIEW prod_catalog.analytics.daily_revenue_summary;

-- Volumeの共有（D2Dのみ）
ALTER SHARE customer_data_share
ADD VOLUME prod_catalog.raw.model_artifacts;

-- ノートブック出力の共有
ALTER SHARE customer_data_share
ADD NOTEBOOK prod_catalog.reports.quarterly_analysis;

-- テーブルからオブジェクトを削除
ALTER SHARE customer_data_share
REMOVE TABLE prod_catalog.sales.deprecated_table;

Change Data Feedの共有（CDC対応）

Delta LakeのChange Data Feed（CDF）をDelta Sharing経由で共有すると、 レシピエントが全データの再読み込みをせずに、前回以降の差分（INSERT/UPDATE/DELETE）のみを取得できます。 大規模テーブルのインクリメンタル同期やリアルタイムに近いデータパイプラインの構築に有効です。

-- プロバイダー側: CDFを有効化してShareに追加
ALTER TABLE prod_catalog.sales.transactions
SET TBLPROPERTIES (delta.enableChangeDataFeed = true);

ALTER SHARE customer_data_share
ADD TABLE prod_catalog.sales.transactions
WITH HISTORY;

-- レシピエント側（Python）: 差分データの取得
import delta_sharing

cdf = delta_sharing.load_table_changes_as_pandas(
    "/path/to/config.share#customer_data_share.sales.transactions",
    starting_version=5,       # バージョン5以降の変更
    ending_version=10         # バージョン10まで
)

# CDFの各行には _change_type カラムが含まれる
# _change_type: "insert" / "update_preimage" / "update_postimage" / "delete"
print(cdf[["_change_type", "_commit_version", "_commit_timestamp"]].head())

セキュリティと権限

Delta Sharingは複数レイヤーのセキュリティモデルで保護されています。 Unity Catalogの権限体系がそのまま適用されるため、既存のガバナンスポリシーとの一貫性が保たれます。

• 認証:ベアラートークン（オープン共有）またはUnity Catalogのクロスワークスペース認証（D2D）
• 認可:Share単位・テーブル単位・パーティション単位のアクセス制御
• トークン有効期限:レシピエントごとにトークンの有効期間を設定可能。期限切れ後は自動的にアクセス遮断
• IPアクセスリスト:レシピエントに対してIPホワイトリストを設定し、接続元を制限可能
• 監査ログ:すべてのアクセスがsystem.access.auditに記録。 「誰が・いつ・どのShareの・どのテーブルに・何回アクセスしたか」をSQLでクエリ可能

-- ========================================
-- Share関連の権限管理
-- ========================================

-- USE SHARE: Shareオブジェクトの詳細を表示する権限
GRANT USE SHARE ON METASTORE TO data_governors;

-- SET SHARE PERMISSION: Shareの権限を他ユーザーに委譲できる権限
GRANT SET SHARE PERMISSION ON METASTORE TO share_admins;

-- CREATE SHARE: 新しいShareを作成する権限
GRANT CREATE SHARE ON METASTORE TO data_engineers;

-- CREATE RECIPIENT: レシピエントを作成する権限
GRANT CREATE RECIPIENT ON METASTORE TO data_engineers;

-- レシピエントのトークンをローテーション（再発行）
ALTER RECIPIENT partner_company_a ROTATE TOKEN;

-- レシピエントにIPアクセスリストを設定
ALTER RECIPIENT partner_company_a
SET IP_ACCESS_LIST = ('203.0.113.0/24', '198.51.100.0/24');

-- レシピエントの詳細・アクセス状況を確認
DESCRIBE RECIPIENT partner_company_a;
SHOW GRANTS TO RECIPIENT partner_company_a;

Snowflake Data Sharingとの比較

SnowflakeもSecure Data Sharing機能でクロスアカウントのデータ共有をサポートしています。 Delta SharingとSnowflake Data Sharingの設計思想・制約の違いを整理します。

試験出題ポイント（DEA: Data Governance）

Data Engineer Associate（DEA）試験では、Data Governanceドメイン（約17%）でDelta Sharingが出題されます。 Unity Catalogのセクションと密接に関連するため、Share・Recipient・権限管理をセットで理解しておく必要があります。

サンプル問題

よくある質問（FAQ）