Vector Searchとは？Databricksのベクトル検索

Databricks Vector Searchは、Unity Catalogと統合されたマネージドベクトルデータベースです。テキストや画像などの非構造化データをベクトル（Embedding）に変換し、 意味的な類似度に基づく検索を提供します。RAG（Retrieval-Augmented Generation）パイプラインの検索コンポーネントとして中核的な役割を担い、 GenAI Engineer試験ではインデックスタイプの選択やクエリ設計が頻出です。

Vector Searchの概要

従来のキーワード検索（BM25等）はクエリとドキュメントの語句一致に依存するため、 「機械学習」と「ML」のような表現の揺れに対応できません。 Vector Searchはテキストを高次元ベクトルに変換し、コサイン類似度やドット積で意味的な近さを計算するため、 同義語・言い換え・多言語にも対応した検索が可能です。

Databricks Vector Searchの特徴

• マネージド型: インデックスの構築・スケーリング・可用性をDatabricksが自動管理
• Unity Catalog統合: テーブルレベルのアクセス制御・リネージ追跡がVector Searchにも適用
• Delta Lake連携: Delta Tableをソースとした自動同期インデックス（Delta Sync Index）を提供
• Foundation Model API統合: Embeddingの計算をDatabricks内で完結可能
• メタデータフィルタリング: ベクトル類似度検索にメタデータ条件を組み合わせたハイブリッド検索

インデックスタイプの比較

Vector Searchには2種類のインデックスタイプがあり、データの管理方法とユースケースが異なります。GenAI Engineer試験ではシナリオに応じた適切なインデックスタイプの選択が問われます。

Delta Sync Indexの自動計算モードでは、テキスト列を指定するだけでDatabricksが自動的にEmbeddingを計算してインデックスに格納します。事前計算列モードでは、自分でEmbeddingを計算してDelta Tableに格納した列をインデックスの対象として指定します。

エンドポイントの作成

Vector Search Endpointは、インデックスをホストするコンピュートリソースです。エンドポイントを作成し、その上にインデックスを関連付けます。

from databricks.vector_search.client import VectorSearchClient

vsc = VectorSearchClient()

# Vector Search エンドポイントの作成
vsc.create_endpoint(
    name="my_vs_endpoint",
    endpoint_type="STANDARD"
)

# エンドポイントの状態確認
endpoint = vsc.get_endpoint("my_vs_endpoint")
print(endpoint["endpoint_status"]["state"])  # "ONLINE"

インデックスの作成

Delta Sync Index（自動Embedding計算）

# Delta Sync Index の作成（Embeddingを自動計算）
index = vsc.create_delta_sync_index(
    endpoint_name="my_vs_endpoint",
    index_name="catalog.schema.doc_index",
    source_table_name="catalog.schema.documents",
    primary_key="doc_id",
    pipeline_type="TRIGGERED",          # "TRIGGERED" or "CONTINUOUS"
    embedding_source_column="content",  # テキスト列を指定
    embedding_model_endpoint_name="databricks-gte-large-en"
)

# インデックスの状態確認
print(index.describe()["status"]["ready"])  # True

Delta Sync Index（事前計算Embedding）

# 事前計算した Embedding 列を持つ Delta Table からの Index 作成
index = vsc.create_delta_sync_index(
    endpoint_name="my_vs_endpoint",
    index_name="catalog.schema.doc_index_precomputed",
    source_table_name="catalog.schema.documents_with_embeddings",
    primary_key="doc_id",
    pipeline_type="TRIGGERED",
    embedding_dimension=1024,
    embedding_vector_column="embedding_vector"
)

Direct Vector Access Index

# Direct Vector Access Index の作成
index = vsc.create_direct_access_index(
    endpoint_name="my_vs_endpoint",
    index_name="catalog.schema.realtime_index",
    primary_key="item_id",
    embedding_dimension=1024,
    embedding_vector_column="embedding",
    schema={
        "item_id": "string",
        "embedding": "array<float>",
        "category": "string",
        "title": "string"
    }
)

# ベクトルの直接挿入
index.upsert([
    {"item_id": "001", "embedding": [0.1, 0.2, ...], "category": "tech", "title": "..."},
    {"item_id": "002", "embedding": [0.3, 0.1, ...], "category": "science", "title": "..."}
])

類似度検索クエリ

インデックスに対してクエリを実行し、類似度の高い上位K件のドキュメントを取得します。テキストクエリ（自動Embedding計算）またはベクトルクエリ（事前計算済み）のいずれかを使用できます。

# テキストクエリによる類似度検索（Delta Sync Index + 自動Embedding計算）
results = index.similarity_search(
    query_text="Databricksのクラスター管理について",
    columns=["doc_id", "content", "source_url"],
    num_results=5
)

# 検索結果の処理
for doc in results["result"]["data_array"]:
    print(f"Score: {doc[-1]:.4f} | ID: {doc[0]} | Content: {doc[1][:100]}...")

# ベクトルクエリによる類似度検索（Direct Vector Access Index）
results = index.similarity_search(
    query_vector=[0.1, 0.2, 0.3, ...],  # 事前計算済みベクトル
    columns=["item_id", "title", "category"],
    num_results=10
)

メタデータフィルタリング

ベクトル類似度検索にメタデータ条件を追加することで、検索結果を特定のカテゴリや期間に限定できます。RAGパイプラインにおいて、ユーザーの権限に基づいたドキュメントフィルタリングやカテゴリ絞り込みに活用します。

# メタデータフィルタリング付き検索
results = index.similarity_search(
    query_text="セキュリティポリシーについて",
    columns=["doc_id", "content", "department", "updated_at"],
    num_results=5,
    filters={"department": "engineering", "updated_at >=": "2026-01-01"}
)

# 複数条件のフィルタリング
results = index.similarity_search(
    query_text="データパイプラインの設計",
    columns=["doc_id", "content", "category"],
    num_results=5,
    filters={"category IN": ["architecture", "data-engineering"]}
)

Embeddingモデルの比較

Delta Sync Indexの自動Embedding計算モードを使う場合、Foundation Model APIで提供されているモデル（GTE等）をembedding_model_endpoint_name で指定します。外部モデルを使いたい場合はExternal Model機能でエンドポイントを作成し、 事前にEmbeddingを計算してDelta Tableに格納する事前計算列モードを選択します。

GenAI Engineer試験の出題ポイント

• インデックスタイプの選択: シナリオに応じたDelta Sync vs Direct Vector Accessの判断
• Embeddingモード: 自動計算モードと事前計算列モードの使い分け
• pipeline_type: CONTINUOUSとTRIGGEREDの違い（リアルタイム性 vs コスト）
• メタデータフィルタリング: セキュリティ・カテゴリ絞り込みの実装パターン
• Unity Catalog統合: Vector SearchインデックスへのACL適用

サンプル問題

よくある質問