Databricks Secret Scopesで実現する認証情報の安全な管理

データベースのパスワード、API キー、ストレージアカウントの接続文字列——これらの認証情報を Notebook のセルやジョブ設定にハードコードしていませんか？Secret Scopeは、Databricksが提供するシークレット管理機能で、 認証情報をコードから分離し、dbutils.secrets.getで安全に取得する仕組みです。 Notebook上では取得した値が自動的に[REDACTED]に置換されるため、 画面共有やNotebookエクスポート時の漏洩リスクを低減します。

この記事では、Secret Scopeの2種類のバックエンド（Databricks-backed / Key Vault-backed）の比較、 CLI/APIによる作成・管理、Pythonコードでの利用例、ACL設計、 そしてData Engineer Associate / Professional試験で出題されるポイントを整理します。

Secret Scopeの仕組み

Secret Scopeは「シークレットの論理的なコンテナ」です。1つのScopeに複数のキー（シークレット）を格納でき、 Scopeごとにアクセス制御（ACL）を設定します。構造は以下のようになります。

Secret Scope: "production-secrets"
  ├── key: "db-password"       → value: "P@ssw0rd123"
  ├── key: "api-key"           → value: "sk-abc123..."
  └── key: "storage-account"   → value: "DefaultEndpoints..."

Secret Scope: "development-secrets"
  ├── key: "db-password"       → value: "dev-password"
  └── key: "api-key"           → value: "sk-dev..."

# Notebookからの利用
password = dbutils.secrets.get(scope="production-secrets", key="db-password")
# → 変数passwordに値が入るが、print(password)すると [REDACTED] と表示

シークレットはScope名とKey名の組み合わせで一意に特定されるため、 環境（production / development / staging）ごとにScopeを分け、同じKey名でシークレットを管理するのが一般的です。 コードを変えずにScope名だけ切り替えれば環境を切り替えられます。

2種類のバックエンド比較表

CLI/APIによる作成・管理

Databricks CLIを使ったSecret Scopeとシークレットの管理コマンドを示します。

Databricks-backed Scopeの操作

# Scopeの作成
databricks secrets create-scope --scope production-secrets

# シークレットの追加（値はプロンプトで入力）
databricks secrets put-secret --scope production-secrets --key db-password

# シークレットの追加（文字列を直接指定）
databricks secrets put-secret --scope production-secrets \
  --key api-key --string-value "sk-abc123..."

# Scope一覧の表示
databricks secrets list-scopes

# Scope内のキー一覧（値は表示されない）
databricks secrets list-secrets --scope production-secrets

# シークレットの削除
databricks secrets delete-secret --scope production-secrets --key api-key

# Scopeの削除（配下の全シークレットも削除）
databricks secrets delete-scope --scope production-secrets

Key Vault-backed Scopeの作成（Azure）

# Azure Key Vault-backed Scopeの作成
databricks secrets create-scope --scope kv-production \
  --scope-backend-type AZURE_KEYVAULT \
  --resource-id "/subscriptions/<sub_id>/resourceGroups/<rg>/providers/Microsoft.KeyVault/vaults/<vault_name>" \
  --dns-name "https://<vault_name>.vault.azure.net/"

# Key Vault-backed Scopeではシークレットの追加/更新/削除はKey Vault側で実施
# Databricksからはdbutils.secrets.getでREADのみ可能

Secrets REST APIの利用

# REST APIでScope一覧を取得
curl -X GET "https://<workspace_url>/api/2.0/secrets/scopes/list" \
  -H "Authorization: Bearer <token>"

# REST APIでシークレットを追加
curl -X POST "https://<workspace_url>/api/2.0/secrets/put" \
  -H "Authorization: Bearer <token>" \
  -H "Content-Type: application/json" \
  -d '{
    "scope": "production-secrets",
    "key": "db-password",
    "string_value": "P@ssw0rd123"
  }'

PythonコードでのSecret利用例

Notebookやジョブ内でシークレットを利用する実装パターンを示します。

# パターン1: JDBCデータベース接続
jdbc_url = "jdbc:postgresql://prod-db.example.com:5432/analytics"
username = dbutils.secrets.get(scope="production-secrets", key="db-username")
password = dbutils.secrets.get(scope="production-secrets", key="db-password")

df = (spark.read
  .format("jdbc")
  .option("url", jdbc_url)
  .option("dbtable", "public.orders")
  .option("user", username)
  .option("password", password)
  .load())

# パターン2: 外部APIへのリクエスト
import requests

api_key = dbutils.secrets.get(scope="production-secrets", key="api-key")
response = requests.get(
    "https://api.example.com/data",
    headers={"Authorization": f"Bearer {api_key}"}
)

# パターン3: Azure Storage接続（Spark Config経由）
storage_key = dbutils.secrets.get(scope="production-secrets", key="storage-key")
spark.conf.set(
    "fs.azure.account.key.mystorageaccount.dfs.core.windows.net",
    storage_key
)
df = spark.read.parquet("abfss://[email protected]/data/")

Secret Redaction の挙動

Databricksは、dbutils.secrets.getで取得した値がNotebookの出力セルに表示されるとき、 自動的に[REDACTED]に置換します。これはNotebook UIだけでなく、 ジョブの出力ログ、display()関数の結果にも適用されます。

# 以下のコードを実行すると...
password = dbutils.secrets.get(scope="production-secrets", key="db-password")
print(password)
# → Notebook出力: [REDACTED]

print(f"Password is: {password}")
# → Notebook出力: Password is: [REDACTED]

# ただし、変数としての値は正常に使える
# JDBC接続やAPI呼び出しには問題なく利用可能

Secret Redactionは表示上のマスキングであり、シークレット値がメモリ上から消えるわけではありません。 悪意あるコード（シークレット値を1文字ずつ出力するなど）に対しては完全な防御にはなりません。 そのため、Secret ScopeのACLを併用して「誰がどのScopeにアクセスできるか」を制御することが重要です。

ACL（アクセス制御リスト）

Secret ScopeにはScope単位でACLを設定できます（Premiumプラン以上）。 権限レベルは3種類です。

# ACLの設定（Databricks CLI）
databricks secrets put-acl --scope production-secrets \
  --principal data-engineers --permission READ

databricks secrets put-acl --scope production-secrets \
  --principal cicd-sp --permission WRITE

# ACLの一覧表示
databricks secrets list-acls --scope production-secrets

# ACLの削除
databricks secrets delete-acl --scope production-secrets \
  --principal data-engineers

試験で問われるポイント

Secret ScopesはData Engineer Associate / Professionalの両方で出題されます。 以下の頻出パターンを押さえてください。

• 「Notebookでシークレットをprint()した際の表示」→ [REDACTED]と表示される（Secret Redaction）
• 「シークレットを安全に取得するAPI」→ dbutils.secrets.get(scope=..., key=...)
• 「Databricks-backed ScopeとKey Vault-backed Scopeの違い」→ 管理場所・シークレット操作の主体が異なる
• 「Secret ScopeのACL権限の種類」→ MANAGE / READ / WRITE の3種類
• 「パスワードをコードにハードコードする代わりに使うべき機能」→ Secret Scope
• 「dbutils.secrets.list()の返り値」→ キー名のリスト（値は返さない。メタデータのみ）

問題で確認

よくある質問