Baze de date vectoriale și arhitectură de regăsire: fișă de referință (concepte, indecși, cuantizare și selecție)

O bază de date vectorială stochează embedding-uri dense și rare (sparse) de înaltă dimensionalitate împreună cu metadate, oferind căutare de similaritate prin cei mai apropiați vecini aproximativi (ANN) în milisecunde ca strat de memorie și regăsire pentru RAG, căutare semantică și agenți AI.

🔗 Fișe conexe: Concepte LLM & Agenți AI · Algoritmi AI moderni · Comenzi PostgreSQL · Comenzi Redis · Comenzi MongoDB

---

1. Concepte de bază și metrici de distanță

1.1 Terminologie esențială

1.2 Trei metrici fundamentale de distanță și similaritate

Cosine(u, v) = (u · v) / (‖u‖₂ · ‖v‖₂)
IP(u, v)     = u · v = ∑ᵢ (uᵢ × vᵢ)
L₂(u, v)     = √( ∑ᵢ (uᵢ − vᵢ)² )

---

2. Algoritmi de indexare ANN și cuantizare

2.1 Comparația indecșilor vectoriali

Parametri principali de reglaj HNSW:

• M (nr. max de legături bidirecționale per nod, uzual 16–64): un M mai mare crește recall-ul la dimensiuni mari, dar mărește RAM-ul și timpul de construire.
• efConstruction (lungimea listei de candidați la indexare, uzual 100–400): afectează doar timpul de construcție și îmbunătățește calitatea grafului.
• efSearch (lățimea căutării la interogare, ≥ top_k): singurul parametru reglabil per interogare; creșterea ridică recall-ul și scade QPS-ul.

2.2 Cuantizare și estimarea memoriei

Referință pentru 10 milioane de vectori × 1536 dimensiuni (FP32 necomprimat):

Dimensiune brută ≈ N × D × 4 Octeți   (graful HNSW adaugă ~1,2×–1,5× overhead RAM)

---

3. Comparație pe niveluri a sistemelor

3.1 Baze de date vectoriale native dedicate

3.2 Biblioteci de căutare vectorială (nu BD complete)

3.3 Extensii ale bazelor de date și motoarelor de căutare clasice

3.4 Servicii cloud complet gestionate

---

4. Strategii de filtrare și căutare hibridă

4.1 Moduri de execuție a filtrării pe metadate

4.2 Reciprocal Rank Fusion (RRF)

Deoarece scorurile de căutare densă și BM25 au scale diferite, RRF combină clasamentele direct după poziție, fără calibrare:

RRF_Score(d) = ∑_{r ∈ R} 1 / (k + rank_r(d))     (constantă standard de netezire k = 60)

---

5. Fragmente pregătite pentru producție

5.1 Schemă pgvector, index HNSW și scanare iterativă (SQL)

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE documents (
    id BIGSERIAL PRIMARY KEY,
    tenant_id INT NOT NULL,
    content TEXT NOT NULL,
    embedding halfvec(1536),          -- float16 economisește 50% RAM față de float32
    fts tsvector GENERATED ALWAYS AS (to_tsvector('simple', content)) STORED
);

CREATE INDEX idx_docs_emb_hnsw ON documents
    USING hnsw (embedding halfvec_cosine_ops)
    WITH (m = 16, ef_construction = 128);

CREATE INDEX idx_docs_fts ON documents USING gin (fts);

SET hnsw.ef_search = 100;
SET hnsw.iterative_scan = relaxed_order;

SELECT id, content, 1 - (embedding <=> $1::halfvec) AS cosine_sim
FROM documents
WHERE tenant_id = 42
ORDER BY embedding <=> $1::halfvec
LIMIT 10;

Operatori de distanță pgvector: <-> Euclidiană (L₂) · <=> Distanță cosinus (1 - cos) · <#> Produs scalar negativ · <+> Manhattan (L₁).

5.2 Qdrant: cuantizare binară și filtrare Payload (Python)

from qdrant_client import QdrantClient, models

client = QdrantClient(url="http://localhost:6333")

client.create_collection(
    collection_name="knowledge_base",
    vectors_config=models.VectorParams(
        size=1536,
        distance=models.Distance.COSINE,
        on_disk=True,
    ),
    quantization_config=models.BinaryQuantization(
        binary=models.BinaryQuantizationConfig(always_ram=True)
    ),
)

client.create_payload_index(
    collection_name="knowledge_base",
    field_name="tenant_id",
    field_schema=models.PayloadSchemaType.KEYWORD,
)

hits = client.query_points(
    collection_name="knowledge_base",
    query=[0.012, -0.045, ...],
    query_filter=models.Filter(
        must=[models.FieldCondition(key="tenant_id", match=models.MatchValue(value="org_a"))]
    ),
    search_params=models.SearchParams(
        quantization=models.QuantizationSearchParams(rescore=True, oversampling=3.0)
    ),
    limit=10,
).points