Vektordatenbanken & Retrieval-Architektur Spickzettel: Konzepte, Indizes, Quantisierung & Auswahl

Eine Vektordatenbank speichert hochdimensionale Dense- und Sparse-Embeddings samt Metadaten und ermöglicht über Approximate-Nearest-Neighbor-(ANN)-Indizes eine Ähnlichkeitssuche im Millisekundenbereich – die zentrale Speicher- und Retrieval-Schicht für RAG, semantische Suche und KI-Agenten.

🔗 Verwandte Spickzettel: LLM & KI-Agenten Konzepte · Moderne KI-Algorithmen · PostgreSQL-Befehle · Redis-Befehle · MongoDB-Befehle

---

1. Kernkonzepte & Distanzmetriken

1.1 Zentrale Begriffe

1.2 Drei Standard-Distanzmetriken

Cosine(u, v) = (u · v) / (‖u‖₂ · ‖v‖₂)
IP(u, v)     = u · v = ∑ᵢ (uᵢ × vᵢ)
L₂(u, v)     = √( ∑ᵢ (uᵢ − vᵢ)² )

---

2. ANN-Indexalgorithmen & Quantisierung

2.1 Vergleich der Vektorindizes

Zentrale HNSW-Tuningparameter:

• M (max. bidirektionale Kanten pro Knoten, typisch 16–64): Höheres M steigert den Recall bei hohen Dimensionen, erhöht aber RAM und Build-Zeit.
• efConstruction (Kandidatenliste beim Indexbau, typisch 100–400): Beeinflusst nur die Bauzeit; höhere Werte liefern bessere Graphqualität.
• efSearch (Suchbreite pro Abfrage, muss ≥ top_k sein): Einziger pro Query anpassbarer Parameter; höher = mehr Recall, weniger QPS.

2.2 Quantisierung & Speicherbedarf

Referenzbasis für 10 Millionen × 1536-dimensionale Vektoren (rohes FP32):

Rohvektorgröße ≈ N × D × 4 Bytes   (HNSW-Graphstruktur benötigt ca. 1,2×–1,5× Zusatz-RAM)

---

3. Schichtweiser Vergleich der Systeme

3.1 Dedizierte native Vektordatenbanken

3.2 Reine Vektor-Suchbibliotheken (keine Voll-DB)

3.3 Erweiterungen klassischer Datenbanken & Suchmaschinen

3.4 Vollverwaltete Cloud-Dienste

---

4. Filterstrategien & Hybridsuche

4.1 Ausführungsmodi für Metadatenfilter

4.2 Reciprocal Rank Fusion (RRF)

Da Dense-Vektor-Scores und BM25-Scores unterschiedliche Skalen besitzen, kombiniert RRF beide Ergebnislisten direkt über ihren Rang:

RRF_Score(d) = ∑_{r ∈ R} 1 / (k + rank_r(d))     (übliche Glättungskonstante k = 60)

---

5. Produktionsnahe Code-Snippets

5.1 pgvector Schema, HNSW & Iterative Scan (SQL)

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE documents (
    id BIGSERIAL PRIMARY KEY,
    tenant_id INT NOT NULL,
    content TEXT NOT NULL,
    embedding halfvec(1536),          -- float16 spart 50 % RAM gegenüber float32
    fts tsvector GENERATED ALWAYS AS (to_tsvector('simple', content)) STORED
);

CREATE INDEX idx_docs_emb_hnsw ON documents
    USING hnsw (embedding halfvec_cosine_ops)
    WITH (m = 16, ef_construction = 128);

CREATE INDEX idx_docs_fts ON documents USING gin (fts);

SET hnsw.ef_search = 100;
SET hnsw.iterative_scan = relaxed_order;

SELECT id, content, 1 - (embedding <=> $1::halfvec) AS cosine_sim
FROM documents
WHERE tenant_id = 42
ORDER BY embedding <=> $1::halfvec
LIMIT 10;

pgvector-Distanzoperatoren: <-> Euklidisch (L₂) · <=> Kosinus-Distanz (1 - cos) · <#> Negatives Skalarprodukt · <+> Manhattan (L₁).

5.2 Qdrant Collection, binäre Quantisierung & Payload-Filter (Python)

from qdrant_client import QdrantClient, models

client = QdrantClient(url="http://localhost:6333")

client.create_collection(
    collection_name="knowledge_base",
    vectors_config=models.VectorParams(
        size=1536,
        distance=models.Distance.COSINE,
        on_disk=True,
    ),
    quantization_config=models.BinaryQuantization(
        binary=models.BinaryQuantizationConfig(always_ram=True)
    ),
)

client.create_payload_index(
    collection_name="knowledge_base",
    field_name="tenant_id",
    field_schema=models.PayloadSchemaType.KEYWORD,
)

hits = client.query_points(
    collection_name="knowledge_base",
    query=[0.012, -0.045, ...],
    query_filter=models.Filter(
        must=[models.FieldCondition(key="tenant_id", match=models.MatchValue(value="org_a"))]
    ),
    search_params=models.SearchParams(
        quantization=models.QuantizationSearchParams(rescore=True, oversampling=3.0)
    ),
    limit=10,
).points