Векторные базы данных и архитектура поиска: шпаргалка (концепции, индексы, квантование и выбор)

Векторная база данных хранит многомерные плотные и разреженные эмбеддинги вместе с метаданными, обеспечивая приближённый поиск ближайших соседей (ANN) за миллисекунды как слой памяти и извлечения для RAG, семантического поиска и ИИ-агентов.

🔗 Связанные шпаргалки: Концепции LLM и ИИ-агентов · Современные алгоритмы ИИ · Команды PostgreSQL · Команды Redis · Команды MongoDB

---

1. Ключевые понятия и метрики расстояния

1.1 Базовая терминология

1.2 Три основные метрики расстояния и сходства

Cosine(u, v) = (u · v) / (‖u‖₂ · ‖v‖₂)
IP(u, v)     = u · v = ∑ᵢ (uᵢ × vᵢ)
L₂(u, v)     = √( ∑ᵢ (uᵢ − vᵢ)² )

---

2. Алгоритмы ANN-индексации и квантование

2.1 Сравнение векторных индексов

Ключевые параметры настройки HNSW:

• M (макс. двунаправленных связей на узел, обычно 16–64): большее M повышает recall на высоких размерностях ценой RAM и времени построения.
• efConstruction (размер списка кандидатов при сборке, обычно 100–400): влияет только на скорость построения и качество графа.
• efSearch (ширина луча поиска при запросе, ≥ top_k): единственный параметр, меняемый на уровне запроса; рост повышает recall и снижает QPS.

2.2 Квантование и оценка памяти

Базовый ориентир для 10 млн векторов × 1536 измерений (исходный FP32):

Исходный объём ≈ N × D × 4 Байта   (граф HNSW добавляет ~1.2×–1.5× накладных расходов RAM)

---

3. Многоуровневое сравнение систем

3.1 Специализированные нативные векторные БД

3.2 Библиотеки векторного поиска (не полноценные БД)

3.3 Расширения классических БД и поисковых систем

3.4 Полностью управляемые облачные сервисы

---

4. Стратегии фильтрации и гибридный поиск

4.1 Режимы фильтрации метаданных

4.2 Reciprocal Rank Fusion (RRF)

Поскольку оценки плотного поиска и BM25 имеют разные шкалы, RRF объединяет списки напрямую по рангам без калибровки весов:

RRF_Score(d) = ∑_{r ∈ R} 1 / (k + rank_r(d))     (стандартная константа сглаживания k = 60)

---

5. Примеры для продакшена

5.1 Схема pgvector, индекс HNSW и итеративное сканирование (SQL)

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE documents (
    id BIGSERIAL PRIMARY KEY,
    tenant_id INT NOT NULL,
    content TEXT NOT NULL,
    embedding halfvec(1536),          -- float16 экономит 50% памяти по сравнению с float32
    fts tsvector GENERATED ALWAYS AS (to_tsvector('simple', content)) STORED
);

CREATE INDEX idx_docs_emb_hnsw ON documents
    USING hnsw (embedding halfvec_cosine_ops)
    WITH (m = 16, ef_construction = 128);

CREATE INDEX idx_docs_fts ON documents USING gin (fts);

SET hnsw.ef_search = 100;
SET hnsw.iterative_scan = relaxed_order;

SELECT id, content, 1 - (embedding <=> $1::halfvec) AS cosine_sim
FROM documents
WHERE tenant_id = 42
ORDER BY embedding <=> $1::halfvec
LIMIT 10;

Операторы расстояния pgvector: <-> Евклидово (L₂) · <=> Косинусное расстояние (1 - cos) · <#> Отрицательное скалярное произведение · <+> Манхэттен (L₁).

5.2 Qdrant: бинарное квантование и фильтрация Payload (Python)

from qdrant_client import QdrantClient, models

client = QdrantClient(url="http://localhost:6333")

client.create_collection(
    collection_name="knowledge_base",
    vectors_config=models.VectorParams(
        size=1536,
        distance=models.Distance.COSINE,
        on_disk=True,
    ),
    quantization_config=models.BinaryQuantization(
        binary=models.BinaryQuantizationConfig(always_ram=True)
    ),
)

client.create_payload_index(
    collection_name="knowledge_base",
    field_name="tenant_id",
    field_schema=models.PayloadSchemaType.KEYWORD,
)

hits = client.query_points(
    collection_name="knowledge_base",
    query=[0.012, -0.045, ...],
    query_filter=models.Filter(
        must=[models.FieldCondition(key="tenant_id", match=models.MatchValue(value="org_a"))]
    ),
    search_params=models.SearchParams(
        quantization=models.QuantizationSearchParams(rescore=True, oversampling=3.0)
    ),
    limit=10,
).points