Databricks Job Clusters完全ガイド｜All-Purpose Clusterとの使い分け

Databricksには「All-Purpose Cluster（対話型）」と「Job Cluster（ジョブ実行専用）」の2種類のクラスタがあります。 開発・デバッグにはAll-Purpose、本番バッチジョブにはJob Clusterを使うのが基本です。 Job Clusterは単価が安く、ジョブ完了後に自動終了するため、コスト効率が高いのが特徴です。

All-Purpose vs Job Cluster

開発段階ではAll-Purpose Clusterでノートブックを対話的に実行し、コードが安定したら Job Clusterに切り替えてWorkflows（ジョブスケジューラ）で定期実行するのが標準的なワークフローです。

コスト面の違い

Job ClusterのDBU単価はAll-Purpose Clusterより大幅に安く設定されています。 同じインスタンスタイプ・同じ処理時間でも、Job Clusterで実行するだけでDBUコストが半額以下になるケースがあります。

コスト比較の概念例:

All-Purpose Cluster:
  i3.xlarge × 4ノード × 2時間 = 8ノード時間
  DBU単価: 高い（Interactive Compute）

Job Cluster:
  i3.xlarge × 4ノード × 2時間 = 8ノード時間
  DBU単価: 安い（Jobs Compute）

→ 同じ処理でも Job Cluster の方が DBU コストが低い
→ さらに自動終了でアイドル課金もゼロ

本番ジョブをAll-Purpose Clusterで実行しているのは、コスト観点で最も非効率なパターンです。 試験でも「コスト最適化」の文脈でJob Clusterへの移行が正解になる問題が出ます。

Workflowsでの設定

Job Clusterはワークフロー（ジョブ）定義の中で設定します。 ジョブの各タスクに対して個別のJob Clusterを指定するか、複数タスクで共有するクラスタを定義できます。

ワークフロー定義例:
Job: daily_etl
  ├── Task 1: bronze_load（Job Cluster: i3.xlarge × 2ノード）
  ├── Task 2: silver_transform（Job Cluster: i3.2xlarge × 4ノード）
  └── Task 3: gold_aggregate（Job Cluster: i3.xlarge × 2ノード）

各タスクのJob Clusterはタスク完了後に自動終了
→ Task 1 完了 → Cluster 1 終了
→ Task 2 開始 → Cluster 2 起動
→ ...

タスクごとに異なるクラスタサイズを指定できるのがJob Clusterの利点です。 重い処理のタスクだけ大きなクラスタ、軽い処理は小さなクラスタ、と最適化できます。

既存クラスタの利用（非推奨パターン）

ジョブ実行時に「既存のAll-Purpose Clusterを使う」オプションもあります。 しかしこれは以下の理由で非推奨です。

• DBU単価がInteractive Compute（高い）のまま
• クラスタが他のユーザーと共有されている場合、リソース競合が起きる
• ジョブ完了後にクラスタが自動終了しない
• ジョブごとにクラスタサイズを最適化できない

開発中の一時的なテスト以外では、Job Clusterを使うべきです。

ベストプラクティス

• 本番ジョブは必ずJob Clusterで実行する
• Job ClusterにはInstance Poolを組み合わせて起動時間を短縮する
• Cluster Policyで使用可能なインスタンスタイプ・ノード数を制限する
• タスクごとに適切なクラスタサイズを設定する
• Runtimeバージョンは最新のLTSを指定する
• 開発完了後はAll-Purpose ClusterからJob Clusterへ移行する

試験で問われるポイント

• All-Purpose vs Job Cluster の用途の違い
• Job Clusterの方がDBU単価が安いこと
• Job Clusterはジョブ完了後に自動終了すること
• 「コスト最適化」の文脈ではJob Cluster + Pool + Policyの組み合わせ
• 既存クラスタ利用が非推奨な理由

問題で確認

よくある質問