Databricks Instance Pools完全ガイド｜起動高速化・コスト最適化

Databricksのクラスタ起動には通常2〜5分かかります。これはクラウドプロバイダーからインスタンスを 新たにプロビジョニング（確保・起動・設定）する時間です。 Instance Poolは、事前にインスタンスを確保しておくことで、クラスタの起動時間を数十秒に短縮する仕組みです。

仕組み

Instance Poolは「すぐに使えるインスタンスのプール（共有在庫）」です。 クラスタがPoolを使うよう設定されていると、起動時にPoolからアイドルインスタンスを取得して即座にアタッチします。 クラスタ終了時にはインスタンスをPoolに返却し、次のクラスタが再利用できるようにします。

クラスタなし → Pool起動のクラスタを作成
  ↓
Poolにアイドルインスタンスがある？
  ├── YES → 数秒で起動（Poolからインスタンスを取得）
  └── NO  → 通常の起動（クラウドからプロビジョニング、2-5分）

クラスタ終了時
  ↓
インスタンスをPoolに返却
  ↓
次のクラスタが再利用可能

Pool の設定パラメータ

Min Idle Instancesを増やすほど起動が高速になりますが、アイドルインスタンスのクラウドインフラコスト（EC2/VMの時間課金）が発生します。 コストと起動速度のバランスを取ることが重要です。

実務での活用パターン

• インタラクティブ分析: アナリストがノートブックを開いた瞬間にクラスタが起動してほしい
• CI/CDパイプライン: テストジョブの起動を高速化して全体のビルド時間を短縮
• オートスケーリング: ピーク時のノード追加を高速化して処理遅延を防ぐ
• 短時間ジョブの連続実行: ジョブ間でインスタンスを再利用して起動オーバーヘッドを排除

Cluster Policyとの連携

Instance PoolとCluster Policyを組み合わせるのがベストプラクティスです。 Policyで「このPoolを必ず使う」と強制すれば、ユーザーが勝手に高額インスタンスを直接プロビジョニングすることを防げます。

// Cluster Policy内でPoolを強制
{
  "instance_pool_id": {
    "type": "fixed",
    "value": "pool-12345-abcde"
  }
}

スポットインスタンスとの関係

Instance Poolではスポットインスタンス（AWS Spot / Azure Spot VM）も利用できます。 ドライバーノードはオンデマンド、ワーカーノードはスポットで構成するのが一般的なコスト最適化パターンです。 ただしスポットインスタンスは中断される可能性があるため、中断耐性のあるワークロード（バッチETL）向きです。

Pool あり vs Pool なしの比較

試験で問われるポイント

• Instance Poolの目的: クラスタ起動時間の短縮（コスト削減ではない）
• Cluster Policyとの違い: Pool=起動高速化、Policy=構成制限
• Min Idle Instances: 常に確保するインスタンス数
• Preloaded Spark Version: Runtime事前ロードでさらに起動高速化
• 終了したクラスタのインスタンスはPoolに返却されて再利用可能

問題で確認

よくある質問