Databricks AutoML完全ガイド｜自動機械学習の使い方と試験対策

Databricks AutoMLは、データの前処理・モデル選択・ハイパーパラメータチューニング・評価を自動化するマネージド機械学習機能です。 分類・回帰・時系列予測の3タスクに対応し、最適なモデルの探索から再現可能なノートブックの生成までを ワンクリック（UI）またはワンライン（API）で実行できます。 ML Associate試験では全体の10〜15%がAutoML関連で、APIの使い方・生成物の理解・適用判断が問われます。

AutoMLの処理フロー

AutoMLは以下の4ステップを自動的に実行します。各ステップの処理内容と生成物を理解することが試験対策の基本です。

┌─────────────────────────────────────────────────────────┐
│                AutoML 処理フロー                         │
│                                                         │
│  Step 1: データ分析・前処理                              │
│  ├─ 欠損値の処理（中央値/最頻値/補完）                   │
│  ├─ カテゴリカル変数のエンコーディング                    │
│  ├─ 数値特徴量の正規化                                  │
│  └─ 特徴量の自動選択                                    │
│          │                                              │
│  Step 2: モデル選択                                     │
│  ├─ 複数アルゴリズムの候補を自動選定                     │
│  └─ LightGBM / XGBoost / sklearn / Prophet 等           │
│          │                                              │
│  Step 3: ハイパーパラメータチューニング                   │
│  ├─ Hyperopt による自動探索                             │
│  └─ 各組み合わせを MLflow Run として記録                 │
│          │                                              │
│  Step 4: 評価・ランキング                               │
│  ├─ Cross-validation による評価                         │
│  └─ ベストモデルの自動選定                              │
└─────────────────────────────────────────────────────────┘

対応タスクと評価指標

分類と回帰はLightGBM・XGBoost・sklearnの各アルゴリズムを自動的に試行します。時系列予測はProphet・ARIMAに限定され、深層学習ベースの手法（LSTM等）はAutoMLでは対応していません。

UI実行手順

AutoMLはDatabricksワークスペースのUIから、コードを書かずに実行できます。

1. Experiments ページで「Create AutoML Experiment」を選択
2. Dataset: Unity Catalog上のテーブルまたはDelta Tableを選択
3. Prediction target: 予測対象列（ラベル列）を指定
4. Problem type: Classification / Regression / Forecasting を選択（自動検出も可能）
5. Advanced Configuration: 評価指標、除外列、タイムアウト、トライアル数を設定
6. Start をクリックして実行

実行完了後、MLflow Experiment UIで各トライアルのメトリクスを比較し、ベストモデルのノートブックを開いて中身を確認・編集できます。

API実行（Pythonコード）

import databricks.automl

# 分類タスクの実行
summary = databricks.automl.classify(
    dataset="catalog.schema.customer_data",   # Unity Catalog テーブル
    target_col="churn",                       # 予測対象列
    primary_metric="f1",                      # 最適化する評価指標
    timeout_minutes=30,                       # 探索時間の上限
    max_trials=50                             # 最大トライアル数
)

# 結果の確認
print(f"Best trial: {summary.best_trial}")
print(f"Best metric: {summary.best_trial.metrics}")
print(f"MLflow run ID: {summary.best_trial.mlflow_run_id}")

# ベストモデルの取得
best_model = summary.best_trial.load_model()

# 回帰タスクの実行例
reg_summary = databricks.automl.regress(
    dataset=sales_df,              # Spark DataFrame も入力可能
    target_col="revenue",
    primary_metric="rmse",
    timeout_minutes=60
)

# 時系列予測の実行例
forecast_summary = databricks.automl.forecast(
    dataset="catalog.schema.daily_sales",
    target_col="sales_amount",
    time_col="date",                          # 時間列（必須）
    frequency="d",                            # "d"=日次, "W"=週次, "M"=月次
    horizon=30,                               # 予測期間（日数）
    identity_col=["store_id"]                 # 多系列予測のグループキー
)

dataset にはUnity Catalogのテーブル名（3レベル名前空間）またはSpark DataFrameを指定できます。primary_metric はモデルの最適化に使う指標で、分類タスクのデフォルトはF1です。 試験では、各APIメソッドのパラメータ名と役割が問われます。

生成ノートブックの構造と活用法

AutoMLの最大の特徴は、トライアルごとに再現可能なPythonノートブックを自動生成する点です。ブラックボックスではなく、コードが完全に公開されるため、データサイエンティストが内容を理解・編集できます。

生成ノートブックに含まれる内容

• データロード: 入力テーブルの読み込みとtrain/test分割
• 前処理パイプライン: 欠損値補完・エンコーディング・正規化のsklearn Pipeline
• モデル定義: 選択されたアルゴリズムとハイパーパラメータ
• トレーニングと評価: Cross-validationとメトリクス計算
• MLflow記録: パラメータ・メトリクス・モデルのログ
• Feature Importance: SHAP値による特徴量重要度の可視化

生成されたノートブックをベースラインとして、ドメイン知識に基づいた特徴量の追加・前処理の変更・アルゴリズムの差し替えなどのカスタマイズを行うワークフローが推奨されています。試験では「AutoMLの生成ノートブックの活用方法として最も適切なもの」を問う問題が出ます。

MLflow Experiment連携

AutoMLの全トライアルは、MLflow Experimentに自動的にRunとして記録されます。手動でMLflowのログコードを書く必要はありません。

import mlflow

# AutoML 実行後、MLflow Experiment からベストモデルを取得
experiment_id = summary.experiment.experiment_id
best_run = mlflow.search_runs(
    experiment_ids=[experiment_id],
    order_by=["metrics.val_f1_score DESC"],
    max_results=1
).iloc[0]

print(f"Best F1: {best_run['metrics.val_f1_score']:.4f}")
print(f"Algorithm: {best_run['tags.estimator_name']}")

# ベストモデルを Model Registry に登録
mlflow.register_model(
    model_uri=f"runs:/{best_run.run_id}/model",
    name="catalog.schema.churn_classifier"
)

AutoML vs 手動ML 比較

制約と注意点

• 単一ノード実行: AutoMLは分散トレーニングに非対応。大規模データには事前のサンプリングが必要
• 深層学習非対応: CNN・RNN・Transformerベースのモデルは探索対象外
• 非構造化データ非対応: 画像・テキスト・音声データの直接入力は不可（事前に特徴量化が必要）
• カスタム評価指標: 組み込みメトリクスのみ対応し、ユーザー定義メトリクスは指定不可
• Forecastingの制約: ProphetとARIMAのみで、深層学習系列モデル（N-BEATS等）は非対応

ML Associate試験の出題ポイント

• APIメソッドの使い分け: classify() / regress() / forecast() の各パラメータと役割
• 生成ノートブックの活用: ベースラインとしてカスタマイズする推奨ワークフロー
• MLflow自動記録: 全トライアルがRunとして記録される仕組み
• 適用判断: AutoMLが適切なシナリオと手動MLが必要なシナリオの使い分け
• 制約の理解: 単一ノード・対応アルゴリズム・データサイズの制限
• forecast()固有パラメータ: time_col・frequency・horizon・identity_colの役割

サンプル問題

よくある質問