RAGパターンとは？Databricksで学ぶ検索拡張生成の実装

RAG（Retrieval-Augmented Generation）は、LLMの生成能力に外部知識の検索を組み合わせることで、ハルシネーションを抑制しつつ最新・正確な回答を生成するアーキテクチャです。 Databricks GenAI Engineer試験では全体の30〜40%がRAG関連から出題され、アーキテクチャ設計・コンポーネント選択・評価手法の理解が求められます。

RAGアーキテクチャの全体像

RAGパイプラインは「検索フェーズ」と「生成フェーズ」の2段階で構成されます。ユーザーのクエリをEmbeddingに変換し、Vector Searchで関連ドキュメントを検索した後、そのコンテキストとともにLLMへプロンプトを送信します。

┌─────────────────────────────────────────────────────────────┐
│                    RAG パイプライン                          │
│                                                             │
│  User Query                                                 │
│      │                                                      │
│      ▼                                                      │
│  ┌──────────────┐    ┌──────────────────┐                   │
│  │ Embedding    │───▶│ Vector Search    │                   │
│  │ Model        │    │ (類似度検索)      │                   │
│  └──────────────┘    └───────┬──────────┘                   │
│                              │ Top-K チャンク               │
│                              ▼                              │
│                     ┌──────────────────┐                    │
│                     │ Prompt Template  │                    │
│                     │ (Query+Context)  │                    │
│                     └───────┬──────────┘                    │
│                             │                               │
│                             ▼                               │
│                     ┌──────────────────┐                    │
│                     │ LLM (生成)       │                    │
│                     └───────┬──────────┘                    │
│                             │                               │
│                             ▼                               │
│                        Response                             │
└─────────────────────────────────────────────────────────────┘

このパイプライン設計により、LLMが学習時に持っていない情報（社内ドキュメント・最新データ等）にもアクセスでき、根拠のある回答を生成できます。

チャンキング戦略の比較

ドキュメントをVector Searchに格納する前に、適切なサイズのチャンク（断片）に分割する必要があります。チャンキング戦略の選択はRAGの検索精度に直結するため、ドキュメントの特性に応じた使い分けが求められます。

GenAI Engineer試験では、ドキュメントの種類に応じてどのチャンキング戦略を選択すべきかを問う問題が出題されます。たとえば「社内Wikiのように見出し構造があるドキュメント」にはRecursive、「短いFAQの集合」にはFixed-sizeが適しています。

Embeddingモデルの選定

Embeddingモデルはテキストをベクトル空間に変換し、類似度検索の基盤となります。DatabricksではFoundation Model APIで提供されるモデルのほか、外部APIも利用可能です。

Databricksプラットフォーム内で完結させたい場合は、Foundation Model APIのGTEモデルが最も統合しやすく、External Model機能でOpenAI等の外部APIを利用する構成も選択できます。

Vector Searchの設定

DatabricksのVector SearchはマネージドベクトルDBで、Unity Catalogと統合されたアクセス制御のもとで類似度検索を提供します。インデックスタイプの選択はRAGアーキテクチャの運用性に大きく影響します。

Prompt Engineeringテンプレート

RAGではLLMに渡すプロンプトの設計が回答品質を左右します。検索されたコンテキストとユーザーのクエリを構造化して渡すことで、ハルシネーションを抑制できます。

# RAG用プロンプトテンプレートの例

prompt_template = """
あなたは社内ドキュメントに基づいて回答するアシスタントです。
以下のコンテキストのみを使って質問に回答してください。
コンテキストに含まれない情報については「情報が見つかりません」と回答してください。

## コンテキスト
{context}

## 質問
{query}

## 回答
"""

# Databricks Foundation Model APIでの実行例
import mlflow.deployments

client = mlflow.deployments.get_deploy_client("databricks")

response = client.predict(
    endpoint="databricks-meta-llama-3-1-70b-instruct",
    inputs={
        "messages": [
            {"role": "system", "content": "社内ドキュメントに基づいて回答してください。"},
            {"role": "user", "content": prompt_template.format(
                context=retrieved_context,
                query=user_query
            )}
        ],
        "max_tokens": 1024,
        "temperature": 0.1
    }
)

temperature を低く設定（0.0〜0.2）することで、コンテキストに忠実な回答が得られやすくなります。 試験では、プロンプトテンプレートに「コンテキスト外の情報を使わない」という制約を含めることの重要性が問われます。

RAGの評価指標とMLflow evaluate()

RAGパイプラインの品質を定量的に評価するには、以下の3つの指標を用います。DatabricksではMLflow evaluate()に組み込みの評価メトリクスとして提供されています。

import mlflow

# RAG評価パイプラインの実行
eval_data = pd.DataFrame({
    "questions": ["Databricksのクラスターポリシーとは？", ...],
    "ground_truth": ["クラスター作成時の設定制約を定義する機能です", ...],
    "retrieved_context": [retrieved_chunks_list, ...],
    "generated_answers": [rag_responses_list, ...]
})

results = mlflow.evaluate(
    data=eval_data,
    model_type="question-answering",
    evaluators="default",
    extra_metrics=[
        mlflow.metrics.genai.faithfulness(),
        mlflow.metrics.genai.relevance(),
    ]
)

print(results.metrics)
# {'faithfulness/v1/mean': 0.92, 'relevance/v1/mean': 0.88, ...}

MLflow evaluate()はLLM-as-a-Judgeパターンを使い、別のLLMが回答品質をスコアリングします。各メトリクスは1〜5のスケールで評価され、閾値ベースでパイプラインの品質ゲートとして活用できます。

RAG vs Fine-tuning 比較

GenAI Engineer試験の出題ポイント

• チャンキング戦略の選択：ドキュメント特性に応じたFixed/Semantic/Recursiveの使い分け
• インデックスタイプの判断：Delta Sync Index vs Direct Vector Access Indexの選択基準
• 評価指標の理解：Faithfulness・Relevance・Context Precisionの定義と計測方法
• RAG vs Fine-tuningの使い分け：ユースケースに応じた適切なアプローチの選択
• プロンプト設計：コンテキスト制約を含むプロンプトテンプレートの構成
• MLflow evaluate()：RAGパイプラインの品質評価手法

GenAI Engineer試験の全体の30〜40%がRAG関連です。単なるアーキテクチャの理解だけでなく、「このシナリオでどのコンポーネントを選ぶべきか」という実務的な判断力が問われます。

サンプル問題

よくある質問