Database vettoriali e architettura di retrieval: guida rapida (concetti, indici, quantizzazione e scelta)

Un database vettoriale memorizza embedding densi e sparsi ad alta dimensionalità insieme ai metadati, offrendo ricerca di similarità tramite Approximate Nearest Neighbor (ANN) in millisecondi come livello base di memoria e retrieval per RAG, ricerca semantica e agenti IA.

🔗 Guide rapide correlate: Concetti LLM e Agenti IA · Algoritmi IA moderni · Comandi PostgreSQL · Comandi Redis · Comandi MongoDB

---

1. Concetti fondamentali e metriche di distanza

1.1 Terminologia essenziale

1.2 Tre metriche chiave di distanza e similarità

Cosine(u, v) = (u · v) / (‖u‖₂ · ‖v‖₂)
IP(u, v)     = u · v = ∑ᵢ (uᵢ × vᵢ)
L₂(u, v)     = √( ∑ᵢ (uᵢ − vᵢ)² )

---

2. Algoritmi di indicizzazione ANN e quantizzazione

2.1 Confronto tra indici vettoriali

Parametri principali di tuning HNSW:

• M (max collegamenti bidirezionali per nodo, tipicamente 16–64): valori più alti migliorano il recall in alta dimensione ma aumentano RAM e tempo di build.
• efConstruction (dimensione lista candidati durante la costruzione, tipicamente 100–400): incide solo sul tempo di build e migliora la qualità del grafo.
• efSearch (ampiezza di ricerca a query time, ≥ top_k): unico parametro regolabile per query; aumentarlo alza il recall e riduce il QPS.

2.2 Quantizzazione e stima della memoria

Base di riferimento per 10 milioni di vettori × 1536 dimensioni (FP32 non compresso):

Dimensione grezza ≈ N × D × 4 Byte   (il grafo HNSW aggiunge ~1,2×–1,5× di overhead RAM)

---

3. Confronto stratificato delle soluzioni

3.1 Database vettoriali nativi dedicati

3.2 Librerie di ricerca vettoriale (non DB completi)

3.3 Estensioni di database e motori di ricerca tradizionali

3.4 Servizi cloud completamente gestiti

---

4. Strategie di filtraggio e ricerca ibrida

4.1 Modalità di esecuzione dei filtri sui metadati

4.2 Reciprocal Rank Fusion (RRF)

Poiché i punteggi di ricerca densa e BM25 usano scale diverse, RRF fonde direttamente le classifiche senza calibrazione:

RRF_Score(d) = ∑_{r ∈ R} 1 / (k + rank_r(d))     (costante standard di smoothing k = 60)

---

5. Snippet pronti per la produzione

5.1 Schema pgvector, indice HNSW e scansione iterativa (SQL)

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE documents (
    id BIGSERIAL PRIMARY KEY,
    tenant_id INT NOT NULL,
    content TEXT NOT NULL,
    embedding halfvec(1536),          -- float16 riduce la RAM del 50% rispetto a float32
    fts tsvector GENERATED ALWAYS AS (to_tsvector('simple', content)) STORED
);

CREATE INDEX idx_docs_emb_hnsw ON documents
    USING hnsw (embedding halfvec_cosine_ops)
    WITH (m = 16, ef_construction = 128);

CREATE INDEX idx_docs_fts ON documents USING gin (fts);

SET hnsw.ef_search = 100;
SET hnsw.iterative_scan = relaxed_order;

SELECT id, content, 1 - (embedding <=> $1::halfvec) AS cosine_sim
FROM documents
WHERE tenant_id = 42
ORDER BY embedding <=> $1::halfvec
LIMIT 10;

Operatori di distanza pgvector: <-> Euclidea (L₂) · <=> Distanza coseno (1 - cos) · <#> Prodotto interno negativo · <+> Manhattan (L₁).

5.2 Qdrant: quantizzazione binaria e filtro Payload (Python)

from qdrant_client import QdrantClient, models

client = QdrantClient(url="http://localhost:6333")

client.create_collection(
    collection_name="knowledge_base",
    vectors_config=models.VectorParams(
        size=1536,
        distance=models.Distance.COSINE,
        on_disk=True,
    ),
    quantization_config=models.BinaryQuantization(
        binary=models.BinaryQuantizationConfig(always_ram=True)
    ),
)

client.create_payload_index(
    collection_name="knowledge_base",
    field_name="tenant_id",
    field_schema=models.PayloadSchemaType.KEYWORD,
)

hits = client.query_points(
    collection_name="knowledge_base",
    query=[0.012, -0.045, ...],
    query_filter=models.Filter(
        must=[models.FieldCondition(key="tenant_id", match=models.MatchValue(value="org_a"))]
    ),
    search_params=models.SearchParams(
        quantization=models.QuantizationSearchParams(rescore=True, oversampling=3.0)
    ),
    limit=10,
).points