Bases de datos vectoriales y arquitectura de recuperación: hoja de trucos (conceptos, índices, cuantización y selección)

Una base de datos vectorial almacena embeddings densos y dispersos de alta dimensión junto con metadatos, ofreciendo búsqueda de similitud mediante vecinos más cercanos aproximados (ANN) en milisegundos como capa base de memoria y recuperación para RAG, búsqueda semántica y agentes de IA.

🔗 Hojas de trucos relacionadas: Conceptos de LLM y Agentes IA · Algoritmos de IA modernos · Comandos de PostgreSQL · Comandos de Redis · Comandos de MongoDB

---

1. Conceptos clave y métricas de distancia

1.1 Terminología esencial

1.2 Tres métricas de distancia y similitud

Cosine(u, v) = (u · v) / (‖u‖₂ · ‖v‖₂)
IP(u, v)     = u · v = ∑ᵢ (uᵢ × vᵢ)
L₂(u, v)     = √( ∑ᵢ (uᵢ − vᵢ)² )

---

2. Algoritmos de indexación ANN y cuantización

2.1 Comparativa de índices vectoriales

Parámetros clave de ajuste HNSW:

• M (enlaces bidireccionales máx. por nodo, típico 16–64): mayor M mejora el recall en alta dimensión, pero eleva RAM y tiempo de construcción.
• efConstruction (tamaño de lista candidata al construir, típico 100–400): solo afecta el tiempo de indexación y mejora la calidad del grafo.
• efSearch (ancho de exploración en consulta, debe ser ≥ top_k): único parámetro ajustable por consulta; aumentarlo sube el recall y baja el QPS.

2.2 Cuantización y estimación de memoria

Línea base para 10 millones de vectores × 1536 dimensiones (FP32 sin comprimir):

Tamaño bruto ≈ N × D × 4 Bytes   (el grafo HNSW añade ~1,2×–1,5× de sobrecarga RAM)

---

3. Comparativa estratificada de bases y motores

3.1 Bases de datos vectoriales nativas dedicadas

3.2 Bibliotecas de búsqueda vectorial (no son BD completas)

3.3 Extensiones de bases de datos y buscadores tradicionales

3.4 Servicios cloud totalmente gestionados

---

4. Estrategias de filtrado y búsqueda híbrida

4.1 Modos de ejecución del filtrado de metadatos

4.2 Reciprocal Rank Fusion (RRF)

Como los puntajes de búsqueda densa y BM25 tienen escalas distintas, RRF combina las listas directamente por rango sin calibración:

RRF_Score(d) = ∑_{r ∈ R} 1 / (k + rank_r(d))     (constante de suavizado estándar k = 60)

---

5. Fragmentos listos para producción

5.1 Esquema pgvector, HNSW y escaneo iterativo (SQL)

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE documents (
    id BIGSERIAL PRIMARY KEY,
    tenant_id INT NOT NULL,
    content TEXT NOT NULL,
    embedding halfvec(1536),          -- float16 ahorra 50 % de memoria frente a float32
    fts tsvector GENERATED ALWAYS AS (to_tsvector('simple', content)) STORED
);

CREATE INDEX idx_docs_emb_hnsw ON documents
    USING hnsw (embedding halfvec_cosine_ops)
    WITH (m = 16, ef_construction = 128);

CREATE INDEX idx_docs_fts ON documents USING gin (fts);

SET hnsw.ef_search = 100;
SET hnsw.iterative_scan = relaxed_order;

SELECT id, content, 1 - (embedding <=> $1::halfvec) AS cosine_sim
FROM documents
WHERE tenant_id = 42
ORDER BY embedding <=> $1::halfvec
LIMIT 10;

Operadores de distancia pgvector: <-> Euclidiana (L₂) · <=> Distancia coseno (1 - cos) · <#> Producto interno negativo · <+> Manhattan (L₁).

5.2 Qdrant: cuantización binaria y filtrado por Payload (Python)

from qdrant_client import QdrantClient, models

client = QdrantClient(url="http://localhost:6333")

client.create_collection(
    collection_name="knowledge_base",
    vectors_config=models.VectorParams(
        size=1536,
        distance=models.Distance.COSINE,
        on_disk=True,
    ),
    quantization_config=models.BinaryQuantization(
        binary=models.BinaryQuantizationConfig(always_ram=True)
    ),
)

client.create_payload_index(
    collection_name="knowledge_base",
    field_name="tenant_id",
    field_schema=models.PayloadSchemaType.KEYWORD,
)

hits = client.query_points(
    collection_name="knowledge_base",
    query=[0.012, -0.045, ...],
    query_filter=models.Filter(
        must=[models.FieldCondition(key="tenant_id", match=models.MatchValue(value="org_a"))]
    ),
    search_params=models.SearchParams(
        quantization=models.QuantizationSearchParams(rescore=True, oversampling=3.0)
    ),
    limit=10,
).points