Vertex AI Pipelines / MLOps 完全ガイド｜Kubeflow・CT・Model Monitoring

Vertex AI Pipelines は GCP の MLOps 基盤で、Kubeflow Pipelines (KFP) v2 と TFX をマネージド実行します。 Continuous Training (CT)、Model Registry、Model Monitoring、Feature Store と組み合わせて完全な MLOps を構築できます。

MLOps 成熟度レベル

KFP v2 パイプライン例

from kfp import dsl, compiler
from kfp.dsl import component, pipeline, Input, Output, Model, Dataset

@component(base_image="python:3.11", packages_to_install=["pandas", "scikit-learn"])
def load_data(output_data: Output[Dataset]):
    import pandas as pd
    df = pd.read_csv("gs://my-bucket/train.csv")
    df.to_csv(output_data.path, index=False)

@component(packages_to_install=["scikit-learn", "joblib"])
def train(data: Input[Dataset], model: Output[Model]):
    import pandas as pd, joblib
    from sklearn.linear_model import LogisticRegression
    df = pd.read_csv(data.path)
    clf = LogisticRegression().fit(df.drop("y", axis=1), df["y"])
    joblib.dump(clf, model.path)

@pipeline(name="train-pipeline")
def my_pipeline():
    data_op = load_data()
    train_op = train(data=data_op.outputs["output_data"])

compiler.Compiler().compile(my_pipeline, "pipeline.json")

# 実行
from google.cloud import aiplatform
aiplatform.PipelineJob(
    display_name="my-run",
    template_path="pipeline.json",
    pipeline_root="gs://my-bucket/pipelines",
).run()

Continuous Training (CT) パターン

1. Cloud Scheduler が毎週 Pub/Sub にメッセージ送信
2. Cloud Functions が Vertex AI Pipelines を起動
3. Feature Store から最新特徴量取得
4. 学習・評価実行
5. 評価指標が閾値超過なら Model Registry に登録
6. Model Monitoring が継続的にドリフト検知
7. ドリフト検知時にも Pipelines 再起動

Model Registry

• モデルのバージョン管理 + Alias (champion / challenger)
• モデルカード (メタデータ + 使用条件)
• Endpoint デプロイ (1 クリックで本番化)
• BigQuery / Cloud Storage / Feature Store のリネージ追跡

Model Monitoring

• Feature Skew: 学習データ vs 本番データの分布乖離
• Feature Drift: 本番データの時系列ドリフト
• Prediction Drift: 予測値の分布変化
• Data Quality: NULL / 異常値検出
• Pub/Sub 通知 + 再学習 CT パイプライン連携

料金例

他 MLOps プラットフォーム比較

ベストプラクティス

• Component を再利用可能に設計 (汎用化)
• Feature Store で特徴量を一元管理
• Model Registry の Alias で本番切り替え
• Cloud Build トリガーで Pipeline 自動更新
• Experiments で実験を追跡
• Vertex AI TensorBoard で可視化
• Pipeline Root を GCS に固定 + ライフサイクル

※ Google Cloud、Vertex AI は Google LLC の商標です。最新情報は Vertex AI Pipelines 公式 をご確認ください。