Terraform for Databricks: IaCで実現するワークスペース自動化

Databricks Terraform Providerは、Databricksのワークスペース、クラスタ、ジョブ、Unity Catalog、 ネットワークなどのリソースをHashiCorp Terraform（HCL）で宣言的に管理するためのプロバイダです。 Infrastructure as Code（IaC）により、手動操作を排除し、環境構築の再現性・監査性を確保できます。

この記事では、Terraform Providerの基本構成、主要リソースの一覧、 HCLの記述例、状態管理のベストプラクティス、そしてDABsとの使い分けを解説します。

Databricks Terraform Providerの概要

Databricks Terraform Providerは、Databricks公式がメンテナンスするHashiCorp Terraform用プラグインです。 Terraform Registryで公開されており、HCLファイル内で以下のようにプロバイダを宣言して使用します。

terraform {
  required_providers {
    databricks = {
      source  = "databricks/databricks"
      version = "~> 1.40"
    }
  }
}

provider "databricks" {
  host  = var.databricks_host
  token = var.databricks_token
}

認証には、Personal Access Token（PAT）、サービスプリンシパル、 Azure Managed Identity、AWS IAMロールなどが使用できます。 本番環境ではPATではなくサービスプリンシパルを使い、CI/CDパイプラインから実行するのが標準的です。

主要リソース一覧

基本的なHCL構成例

以下は、Unity Catalogのカタログ・スキーマ作成とクラスタポリシーの定義を含む基本構成です。

resource "databricks_catalog" "analytics" {
  name    = "analytics"
  comment = "分析チーム用カタログ"
}

resource "databricks_schema" "bronze" {
  catalog_name = databricks_catalog.analytics.name
  name         = "bronze"
  comment      = "RAWデータ格納用スキーマ"
}

resource "databricks_grants" "bronze_grants" {
  schema = databricks_schema.bronze.id
  grant {
    principal  = "data-engineers"
    privileges = ["USE_SCHEMA", "CREATE_TABLE", "SELECT"]
  }
  grant {
    principal  = "data-analysts"
    privileges = ["USE_SCHEMA", "SELECT"]
  }
}

resource "databricks_cluster_policy" "standard" {
  name = "standard-policy"
  definition = jsonencode({
    "spark_version" : {
      "type" : "regex",
      "pattern" : "14\\.3\\.x-scala.*"
    },
    "num_workers" : {
      "type" : "range",
      "minValue" : 1,
      "maxValue" : 8,
      "defaultValue" : 2
    },
    "autotermination_minutes" : {
      "type" : "range",
      "minValue" : 10,
      "maxValue" : 60,
      "defaultValue" : 20
    },
    "custom_tags.CostCenter" : {
      "type" : "fixed",
      "value" : "analytics-team"
    }
  })
}

resource "databricks_secret_scope" "app_secrets" {
  name = "app-secrets"
}

状態管理のベストプラクティス

Terraformの状態ファイル（terraform.tfstate）はリソースの現在の状態を記録するファイルです。 チーム開発では以下のベストプラクティスに従います。

# AWSの場合のバックエンド設定
terraform {
  backend "s3" {
    bucket         = "my-terraform-state"
    key            = "databricks/prod/terraform.tfstate"
    region         = "ap-northeast-1"
    dynamodb_table = "terraform-locks"
    encrypt        = true
  }
}

環境差分管理（dev / staging / prod）

Terraformでの環境差分管理には、主に以下の2つのアプローチがあります。

• Terraform Workspaces：同一HCLファイルを使い、 terraform workspace select devで環境を切り替える。 状態ファイルがworkspaceごとに分離される
• ディレクトリ分離 + tfvars：environments/dev/, environments/prod/のように ディレクトリを分け、各環境のtfvarsファイルで変数をオーバーライドする。 大規模構成で推奨されるアプローチ

DABs vs Terraform 比較表

試験で問われるポイント

• 「ワークスペース構成を再現可能にコード管理するには？」→ Terraform（Databricks Provider）
• 「クラスタポリシーやSecret Scopeをコードで定義するには？」→ Terraform
• 「ジョブとDLTパイプラインの環境間デプロイには？」→ DABs（Terraformでも可能だが、DABsがよりDatabricksネイティブ）
• 「TerraformとDABsの使い分けは？」→ インフラ基盤はTerraform、アプリケーションアセットはDABs

問題で確認

よくある質問