Bases vectorielles & architecture de recherche : aide-mémoire (index, quantification et choix)

Une base de données vectorielle stocke des embeddings denses ou creux haute dimension et leurs métadonnées, offrant une recherche de similarité par plus proches voisins approximatifs (ANN) en quelques millisecondes pour le RAG, la recherche sémantique et la mémoire des agents IA.

🔗 Aides-mémoires associés : Concepts LLM & Agents IA · Algorithmes IA modernes · Commandes PostgreSQL · Commandes Redis · Commandes MongoDB

---

1. Concepts clés et métriques de distance

1.1 Terminologie essentielle

1.2 Trois métriques de distance et similarité

Cosine(u, v) = (u · v) / (‖u‖₂ · ‖v‖₂)
IP(u, v)     = u · v = ∑ᵢ (uᵢ × vᵢ)
L₂(u, v)     = √( ∑ᵢ (uᵢ − vᵢ)² )

---

2. Algorithmes d'indexation ANN et quantification

2.1 Comparatif des index vectoriels

Paramètres clés de réglage HNSW :

• M (arêtes bidirectionnelles max par nœud, typiquement 16–64) : augmente le rappel en haute dimension au prix de plus de RAM et de temps de construction.
• efConstruction (taille de file candidate lors de la construction, typiquement 100–400) : n'affecte que la durée d'indexation et améliore la qualité du graphe.
• efSearch (largeur d'exploration à la requête, ≥ top_k) : seul paramètre ajustable par requête ; plus élevé = meilleur rappel mais QPS réduit.

2.2 Quantification et estimation mémoire

Base de calcul pour 10 millions de vecteurs × 1536 dimensions (FP32 brut) :

Taille brute ≈ N × D × 4 octets   (le graphe HNSW ajoute ~1,2× à 1,5× de surcharge RAM)

---

3. Comparatif stratifié des solutions

3.1 Bases vectorielles natives dédiées

3.2 Bibliothèques de recherche vectorielle (non SGBD complets)

3.3 Extensions de bases classiques et moteurs de recherche

3.4 Services cloud entièrement gérés

---

4. Stratégies de filtrage et recherche hybride

4.1 Modes d'exécution du filtrage de métadonnées

4.2 Fusion RRF (Reciprocal Rank Fusion)

Les scores vectoriels et BM25 n'ayant pas la même échelle, la RRF fusionne directement les classements sans calibration :

RRF_Score(d) = ∑_{r ∈ R} 1 / (k + rank_r(d))     (constante de lissage usuelle k = 60)

---

5. Extraits prêts pour la production

5.1 Schéma pgvector, HNSW et scan itératif (SQL)

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE documents (
    id BIGSERIAL PRIMARY KEY,
    tenant_id INT NOT NULL,
    content TEXT NOT NULL,
    embedding halfvec(1536),          -- float16 réduit la mémoire de 50 % vs float32
    fts tsvector GENERATED ALWAYS AS (to_tsvector('simple', content)) STORED
);

CREATE INDEX idx_docs_emb_hnsw ON documents
    USING hnsw (embedding halfvec_cosine_ops)
    WITH (m = 16, ef_construction = 128);

CREATE INDEX idx_docs_fts ON documents USING gin (fts);

SET hnsw.ef_search = 100;
SET hnsw.iterative_scan = relaxed_order;

SELECT id, content, 1 - (embedding <=> $1::halfvec) AS cosine_sim
FROM documents
WHERE tenant_id = 42
ORDER BY embedding <=> $1::halfvec
LIMIT 10;

Opérateurs de distance pgvector : <-> Euclidienne (L₂) · <=> Distance cosinus (1 - cos) · <#> Produit scalaire négatif · <+> Manhattan (L₁).

5.2 Qdrant : quantification binaire et filtrage Payload (Python)

from qdrant_client import QdrantClient, models

client = QdrantClient(url="http://localhost:6333")

client.create_collection(
    collection_name="knowledge_base",
    vectors_config=models.VectorParams(
        size=1536,
        distance=models.Distance.COSINE,
        on_disk=True,
    ),
    quantization_config=models.BinaryQuantization(
        binary=models.BinaryQuantizationConfig(always_ram=True)
    ),
)

client.create_payload_index(
    collection_name="knowledge_base",
    field_name="tenant_id",
    field_schema=models.PayloadSchemaType.KEYWORD,
)

hits = client.query_points(
    collection_name="knowledge_base",
    query=[0.012, -0.045, ...],
    query_filter=models.Filter(
        must=[models.FieldCondition(key="tenant_id", match=models.MatchValue(value="org_a"))]
    ),
    search_params=models.SearchParams(
        quantization=models.QuantizationSearchParams(rescore=True, oversampling=3.0)
    ),
    limit=10,
).points