ハイパーパラメータチューニング｜Hyperopt・Optuna

ハイパーパラメータチューニングは、モデルの学習率・木の深さ・正則化係数といった「学習では決まらないパラメータ」を最適化する工程です。 Databricksでは主にHyperopt（SparkTrialsによる分散探索）とOptunaが使われ、全トライアルをMLflow Trackingで自動記録できます。 ML Associate試験ではHyperoptの基本API、ML Professional試験ではSparkTrials vs Trialsの使い分けが頻出です。

探索戦略の比較

ハイパーパラメータの探索空間から最適な組み合わせを見つけるためのアルゴリズムは、大きく3種類に分かれます。

Databricksの実務・試験の両方で最も重要なのはBayesian Optimization（TPE: Tree-structured Parzen Estimator）です。 HyperoptもOptunaもデフォルトでTPEを採用しており、50〜200回程度のトライアルで高次元空間でも良好な解を見つけられます。

Hyperoptの基本

HyperoptはDatabricksに組み込まれているベイズ最適化ライブラリです。fmin()関数に目的関数・探索空間・アルゴリズム・最大試行数を渡すだけでチューニングが実行されます。

探索空間の定義

Hyperopt + MLflow 統合コード例

from hyperopt import fmin, tpe, hp, STATUS_OK, SparkTrials
import mlflow
import numpy as np
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_score

# 探索空間の定義
search_space = {
    "n_estimators": hp.quniform("n_estimators", 50, 500, 50),
    "max_depth": hp.quniform("max_depth", 3, 15, 1),
    "min_samples_split": hp.quniform("min_samples_split", 2, 20, 1),
    "learning_rate": hp.loguniform("learning_rate", np.log(1e-4), np.log(1e-1)),
}

# 目的関数（最小化対象を返す）
def objective(params):
    params["n_estimators"] = int(params["n_estimators"])
    params["max_depth"] = int(params["max_depth"])
    params["min_samples_split"] = int(params["min_samples_split"])

    clf = RandomForestClassifier(**params, random_state=42)
    score = cross_val_score(clf, X_train, y_train, cv=3, scoring="f1").mean()

    # MLflowにメトリクスを記録
    mlflow.log_metrics({"f1_cv": score})

    # STATUS_OKとlossを返す（lossは最小化される）
    return {"loss": -score, "status": STATUS_OK}

# SparkTrialsで分散実行
spark_trials = SparkTrials(parallelism=8)

with mlflow.start_run(run_name="hyperopt_rf_tuning"):
    best_params = fmin(
        fn=objective,
        space=search_space,
        algo=tpe.suggest,       # TPE（Bayesian Optimization）
        max_evals=100,          # 最大100トライアル
        trials=spark_trials,    # Spark Executorで並列実行
    )

目的関数は必ず {"loss": 値, "status": STATUS_OK} の形式で辞書を返します。lossはfminが最小化する値なので、精度を最大化したい場合は負の値（-score）を返します。

SparkTrials vs Trials 比較

Hyperoptの実行モードを決めるのがTrialsクラスの選択です。クラスタリソースを活用するかどうかで大きく性能が変わります。

SparkTrialsのparallelismにはトレードオフがあります。 値を大きくすると物理的な並列度は上がりますが、TPEは過去の結果を使って次の探索点を決めるため、 並列度が高すぎると「まだ結果が返っていないトライアルが多い状態」で次の点を選ぶことになり、ランダム探索に近づきます。 実務では max_evals の平方根程度が推奨されています。

Optunaの基本

Optunaは日本のPreferred Networks社が開発したベイズ最適化フレームワークです。Hyperoptとは異なり、Pruning（早期打ち切り）を標準サポートしており、無駄なトライアルを途中で打ち切ることで計算コストを削減できます。

Optunaの主要API

Optuna + MLflow 統合コード例

import optuna
import mlflow
from sklearn.ensemble import GradientBoostingClassifier
from sklearn.model_selection import cross_val_score

def objective(trial):
    params = {
        "n_estimators": trial.suggest_int("n_estimators", 50, 500),
        "max_depth": trial.suggest_int("max_depth", 3, 15),
        "learning_rate": trial.suggest_float("learning_rate", 1e-4, 1e-1, log=True),
        "subsample": trial.suggest_float("subsample", 0.5, 1.0),
        "min_samples_split": trial.suggest_int("min_samples_split", 2, 20),
    }

    clf = GradientBoostingClassifier(**params, random_state=42)
    score = cross_val_score(clf, X_train, y_train, cv=3, scoring="f1").mean()

    # MLflowにトライアル結果を記録
    with mlflow.start_run(nested=True):
        mlflow.log_params(params)
        mlflow.log_metric("f1_cv", score)

    return score

with mlflow.start_run(run_name="optuna_gbm_tuning"):
    study = optuna.create_study(direction="maximize")
    study.optimize(objective, n_trials=100)

    # 最良パラメータの記録
    mlflow.log_params(study.best_params)
    mlflow.log_metric("best_f1", study.best_value)

Hyperopt vs Optuna 比較

AutoMLとの関係

Databricks AutoMLは、データを渡すだけで前処理・特徴量エンジニアリング・モデル選択・ハイパーパラメータチューニングを自動実行する機能です。内部でHyperoptのTPEアルゴリズムを使って各モデルのハイパーパラメータを探索し、全トライアルをMLflow Experimentに自動記録します。

• AutoMLが生成する各Notebookには、Hyperoptを使ったチューニングコードが含まれている
• 生成されたNotebookを編集して探索空間を拡張したり、独自の前処理を追加したりできる
• AutoMLは「ベースライン構築」として使い、その後Hyperoptで精密チューニングするパターンが実務では一般的
• AutoMLの結果はMLflow Experimentに記録されるため、手動チューニングの結果と直接比較可能

MLflow Tracking連携

Hyperopt + SparkTrialsを使用すると、各トライアルは親Runの下にネストされた子Runとして自動記録されます。これにより、MLflow UIで全トライアルのパラメータ・メトリクスを一覧比較できます。

• 親Run: mlflow.start_run()で作成。チューニング全体のメタ情報を記録
• 子Run: SparkTrialsが各トライアルを自動的にネストRunとして記録（パラメータ・loss・status）
• Compare機能: 子Run間のメトリクスをPlotで比較し、パラメータの影響を分析
• 最良のRunのモデルをModel Registryに登録してデプロイまでシームレスに進められる

分散チューニングのベストプラクティス

• parallelismの設定: max_evalsの平方根を目安にする。100トライアルなら parallelism=10 程度。高すぎるとTPEの探索効率が低下する
• early stopping: fminに渡す early_stop_fn で、目標精度到達時に探索を打ち切る
• 探索空間の型: 学習率には hp.loguniform（桁が変わるパラメータ）、木の深さには hp.quniform（整数パラメータ）を使う
• クラスタサイジング: SparkTrialsの各トライアルは1 Executor = 1トライアルで実行される。GPUモデルの場合はワーカーあたり1GPUを確保する
• データサイズとキャッシュ: 訓練データが大きい場合、spark.broadcast() やDBFSへの事前書き出しでデータ転送コストを削減する
• 再現性の確保: np.random.seed() と rstate パラメータでシード固定。ただし分散実行では実行順序が非決定的になる点に注意

試験出題ポイント

問題で確認

よくある質問