ベクトルデータベースと検索アーキテクチャ早見表：基礎概念・インデックス・量子化・製品選定

**ベクトルデータベース（Vector Database）**は、高次元の密/疎埋め込みベクトル（Embedding）とメタデータを格納し、近似最近傍探索（ANN）インデックスによってミリ秒単位の類似検索を実現する、RAG・意味検索・AIエージェント記憶層の基盤ストレージです。

🔗 関連早見表: LLM & AIエージェント技術概念早見表 · 現代AI中核アルゴリズム早見表 · PostgreSQL コマンド早見表 · Redis コマンド早見表 · MongoDB コマンド早見表

---

1. コア概念と距離尺度

1.1 基本用語集

1.2 3大距離・類似度尺度

Cosine(u, v) = (u · v) / (‖u‖₂ · ‖v‖₂)
IP(u, v)     = u · v = ∑ᵢ (uᵢ × vᵢ)
L₂(u, v)     = √( ∑ᵢ (uᵢ − vᵢ)² )

---

2. ANN インデックスアルゴリズムと量子化圧縮

2.1 ベクトルインデックス比較

HNSW 主要チューニングパラメータ:

• M（ノードあたりの最大双方向リンク数、目安 16–64）：大きいほど高次元データの再現率が向上するがメモリと構築時間が増大。
• efConstruction（構築時の探索候補リスト長、目安 100–400）：構築時間のみに影響し、大きくするとグラフ品質が向上。
• efSearch（検索時の動的探索幅、top_k 以上が必須）：クエリ単位で動的変更可能な唯一のパラメータ。増やすと再現率が上がり QPS が下がる。

2.2 ベクトル量子化（Quantization）とメモリ試算

1,000万件 × 1536次元ベクトル（FP32 生データ）の基準試算：

生ベクトル容量 ≈ N × D × 4 Bytes   （HNSW グラフ構造に約 1.2×〜1.5× の追加メモリが必要）

---

3. 主流ベクトルDB・検索エンジン階層別比較

3.1 専用ネイティブベクトルデータベース

3.2 純粋ベクトル検索ライブラリ（DB ではない）

3.3 既存データベース・検索エンジンのベクトル拡張

3.4 パブリッククラウドフルマネージドサービス

---

4. フィルタリング戦略とハイブリッド検索

4.1 メタデータフィルタリング実行方式

4.2 逆順位融合（RRF: Reciprocal Rank Fusion）

密ベクトル検索と BM25 全文検索ではスコア尺度が異なるため、RRF で順位ベースに統合します：

RRF_Score(d) = ∑_{r ∈ R} 1 / (k + rank_r(d))     (経験的平滑定数 k = 60)

---

5. 本番スニペット早見表

5.1 pgvector テーブル設計・HNSW・反復スキャン（SQL）

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE documents (
    id BIGSERIAL PRIMARY KEY,
    tenant_id INT NOT NULL,
    content TEXT NOT NULL,
    embedding halfvec(1536),          -- float16 でメモリを50%削減
    fts tsvector GENERATED ALWAYS AS (to_tsvector('simple', content)) STORED
);

CREATE INDEX idx_docs_emb_hnsw ON documents
    USING hnsw (embedding halfvec_cosine_ops)
    WITH (m = 16, ef_construction = 128);

CREATE INDEX idx_docs_fts ON documents USING gin (fts);

SET hnsw.ef_search = 100;
SET hnsw.iterative_scan = relaxed_order;

SELECT id, content, 1 - (embedding <=> $1::halfvec) AS cosine_sim
FROM documents
WHERE tenant_id = 42
ORDER BY embedding <=> $1::halfvec
LIMIT 10;

pgvector 距離演算子: <-> ユークリッド距離 (L₂) · <=> コサイン距離 (1 - cos) · <#> 負の内積 · <+> マンハッタン距離 (L₁)。

5.2 Qdrant バイナリ量子化と Payload フィルタリング（Python）

from qdrant_client import QdrantClient, models

client = QdrantClient(url="http://localhost:6333")

client.create_collection(
    collection_name="knowledge_base",
    vectors_config=models.VectorParams(
        size=1536,
        distance=models.Distance.COSINE,
        on_disk=True,
    ),
    quantization_config=models.BinaryQuantization(
        binary=models.BinaryQuantizationConfig(always_ram=True)
    ),
)

client.create_payload_index(
    collection_name="knowledge_base",
    field_name="tenant_id",
    field_schema=models.PayloadSchemaType.KEYWORD,
)

hits = client.query_points(
    collection_name="knowledge_base",
    query=[0.012, -0.045, ...],
    query_filter=models.Filter(
        must=[models.FieldCondition(key="tenant_id", match=models.MatchValue(value="org_a"))]
    ),
    search_params=models.SearchParams(
        quantization=models.QuantizationSearchParams(rescore=True, oversampling=3.0)
    ),
    limit=10,
).points