Διανυσματικές Βάσεις Δεδομένων & Αρχιτεκτονική Ανάκτησης: Οδηγός Αναφοράς (Έννοιες, Ευρετήρια, Κβαντισμός & Επιλογή)

Μια διανυσματική βάση δεδομένων (Vector Database) αποθηκεύει πυκνά και αραιά embeddings υψηλών διαστάσεων μαζί με μεταδεδομένα, προσφέροντας αναζήτηση ομοιότητας Approximate Nearest Neighbor (ANN) σε χιλιοστά του δευτερολέπτου ως επίπεδο μνήμης και ανάκτησης για RAG, σημασιολογική αναζήτηση και πράκτορες ΤΝ.

🔗 Σχετικοί οδηγοί: Έννοιες LLM & AI Agents · Σύγχρονοι Αλγόριθμοι ΤΝ · Εντολές PostgreSQL · Εντολές Redis · Εντολές MongoDB

---

1. Βασικές Έννοιες & Μετρικές Απόστασης

1.1 Ορολογία Κλειδί

1.2 Τρεις Κύριες Μετρικές Απόστασης & Ομοιότητας

Cosine(u, v) = (u · v) / (‖u‖₂ · ‖v‖₂)
IP(u, v)     = u · v = ∑ᵢ (uᵢ × vᵢ)
L₂(u, v)     = √( ∑ᵢ (uᵢ − vᵢ)² )

---

2. Αλγόριθμοι Ευρετηρίασης ANN & Κβαντισμός

2.1 Σύγκριση Διανυσματικών Ευρετηρίων

Βασικές παράμετροι ρύθμισης HNSW:

• M (μέγιστες αμφίδρομες συνδέσεις ανά κόμβο, συνήθως 16–64): μεγαλύτερο M βελτιώνει το recall σε υψηλές διαστάσεις αυξάνοντας RAM και χρόνο κατασκευής.
• efConstruction (μέγεθος λίστας υποψηφίων κατά την κατασκευή, συνήθως 100–400): επηρεάζει μόνο τον χρόνο κατασκευής και βελτιώνει την ποιότητα του γράφου.
• efSearch (εύρος αναζήτησης ανά ερώτημα, ≥ top_k): η μόνη παράμετρος που ρυθμίζεται ανά query· η αύξηση ανεβάζει το recall και μειώνει το QPS.

2.2 Κβαντισμός & Εκτίμηση Μνήμης

Βάση αναφοράς για 10 εκατομμύρια διανύσματα × 1536 διαστάσεις (ακατέργαστο FP32):

Ακατέργαστο μέγεθος ≈ N × D × 4 Bytes   (ο γράφος HNSW προσθέτει ~1,2×–1,5× επιβάρυνση RAM)

---

3. Κλιμακωτή Σύγκριση Συστημάτων

3.1 Εξειδικευμένες Εγγενείς Διανυσματικές Βάσεις

3.2 Βιβλιοθήκες Διανυσματικής Αναζήτησης (Όχι Πλήρεις ΒΔ)

3.3 Επεκτάσεις Παραδοσιακών ΒΔ & Μηχανών Αναζήτησης

3.4 Πλήρως Διαχειριζόμενες Υπηρεσίες Cloud

---

4. Στρατηγικές Φιλτραρίσματος & Υβριδική Αναζήτηση

4.1 Τρόποι Εκτέλεσης Φιλτραρίσματος Μεταδεδομένων

4.2 Reciprocal Rank Fusion (RRF)

Επειδή οι βαθμολογίες πυκνής αναζήτησης και BM25 έχουν ανόμοιες κλίμακες, το RRF συγχωνεύει τις κατατάξεις απευθείας χωρίς βαθμονόμηση:

RRF_Score(d) = ∑_{r ∈ R} 1 / (k + rank_r(d))     (τυπική σταθερά εξομάλυνσης k = 60)

---

5. Αποσπάσματα Έτοιμα για Παραγωγή

5.1 Σχήμα pgvector, Ευρετήριο HNSW & Επαναληπτική Σάρωση (SQL)

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE documents (
    id BIGSERIAL PRIMARY KEY,
    tenant_id INT NOT NULL,
    content TEXT NOT NULL,
    embedding halfvec(1536),          -- float16 εξοικονομεί 50% μνήμη έναντι float32
    fts tsvector GENERATED ALWAYS AS (to_tsvector('simple', content)) STORED
);

CREATE INDEX idx_docs_emb_hnsw ON documents
    USING hnsw (embedding halfvec_cosine_ops)
    WITH (m = 16, ef_construction = 128);

CREATE INDEX idx_docs_fts ON documents USING gin (fts);

SET hnsw.ef_search = 100;
SET hnsw.iterative_scan = relaxed_order;

SELECT id, content, 1 - (embedding <=> $1::halfvec) AS cosine_sim
FROM documents
WHERE tenant_id = 42
ORDER BY embedding <=> $1::halfvec
LIMIT 10;

Τελεστές Απόστασης pgvector: <-> Ευκλείδεια (L₂) · <=> Απόσταση συνημιτόνου (1 - cos) · <#> Αρνητικό εσωτερικό γινόμενο · <+> Μανχάταν (L₁).

5.2 Qdrant: Δυαδικός Κβαντισμός & Φιλτράρισμα Payload (Python)

from qdrant_client import QdrantClient, models

client = QdrantClient(url="http://localhost:6333")

client.create_collection(
    collection_name="knowledge_base",
    vectors_config=models.VectorParams(
        size=1536,
        distance=models.Distance.COSINE,
        on_disk=True,
    ),
    quantization_config=models.BinaryQuantization(
        binary=models.BinaryQuantizationConfig(always_ram=True)
    ),
)

client.create_payload_index(
    collection_name="knowledge_base",
    field_name="tenant_id",
    field_schema=models.PayloadSchemaType.KEYWORD,
)

hits = client.query_points(
    collection_name="knowledge_base",
    query=[0.012, -0.045, ...],
    query_filter=models.Filter(
        must=[models.FieldCondition(key="tenant_id", match=models.MatchValue(value="org_a"))]
    ),
    search_params=models.SearchParams(
        quantization=models.QuantizationSearchParams(rescore=True, oversampling=3.0)
    ),
    limit=10,
).points