قواعد البيانات المتجهة وهندسة الاسترجاع: ورقة غش شاملة (المفاهيم، الفهرسة، التكميم والاختيار)

تُخزّن قاعدة البيانات المتجهة (Vector Database) التضمينات الكثيفة والمتفرقة عالية الأبعاد مع البيانات الوصفية، لتوفر بحث تشابه لأقرب الجيران التقريبيين (ANN) خلال أجزاء من الثانية كطبقة استرجاع وذاكرة لأنظمة RAG والبحث الدلالي ووكلاء الذكاء الاصطناعي.

🔗 أوراق غش ذات صلة: مفاهيم LLM ووكلاء الذكاء الاصطناعي · خوارزميات الذكاء الاصطناعي الحديثة · أوامر PostgreSQL · أوامر Redis · أوامر MongoDB

---

1. المفاهيم الأساسية ومقاييس المسافة

1.1 المصطلحات الأساسية

1.2 مقاييس المسافة والتشابه الثلاثة

Cosine(u, v) = (u · v) / (‖u‖₂ · ‖v‖₂)
IP(u, v)     = u · v = ∑ᵢ (uᵢ × vᵢ)
L₂(u, v)     = √( ∑ᵢ (uᵢ − vᵢ)² )

---

2. خوارزميات فهرسة ANN وتكميم المتجهات

2.1 مقارنة فهارس المتجهات

معاملات ضبط HNSW الرئيسية:

• M (أقصى عدد روابط ثنائية الاتجاه للعقدة، عادة 16–64): القيمة الأكبر تحسن الاسترجاع للأبعاد العالية على حساب RAM ووقت البناء.
• efConstruction (طول قائمة المرشحين أثناء البناء، عادة 100–400): يؤثر في وقت البناء فقط ويرفع جودة الرسم البياني.
• efSearch (عرض البحث أثناء الاستعلام، يجب أن يكون ≥ top_k): المعامل الوحيد القابل للتعديل لكل استعلام؛ زيادته ترفع الاسترجاع وتخفض QPS.

2.2 التكميم وتقدير الذاكرة

مرجع لـ 10 ملايين متجه × 1536 بُعدًا (FP32 خام):

الحجم الخام ≈ N × D × 4 Bytes   (يضيف رسم HNSW عبء RAM بنحو 1.2×–1.5×)

---

3. مقارنة طبقية لقواعد البيانات ومحركات البحث

3.1 قواعد البيانات المتجهة الأصلية المخصصة

3.2 مكتبات البحث المتجهي (ليست قواعد بيانات كاملة)

3.3 إضافات القواعد التقليدية ومحركات البحث

3.4 الخدمات السحابية المدارة بالكامل

---

4. استراتيجيات التصفية والبحث الهجين

4.1 أوضاع تنفيذ تصفية البيانات الوصفية

4.2 دمج الترتيب العكسي (RRF)

نظرًا لاختلاف مقاييس الدرجات بين البحث الكثيف وBM25، تدمج RRF الترتيبات مباشرة دون معايرة:

RRF_Score(d) = ∑_{r ∈ R} 1 / (k + rank_r(d))     (ثابت التمهيد القياسي k = 60)

---

5. مقتطفات جاهزة للإنتاج

5.1 مخطط pgvector وفهرس HNSW والمسح التكراري (SQL)

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE documents (
    id BIGSERIAL PRIMARY KEY,
    tenant_id INT NOT NULL,
    content TEXT NOT NULL,
    embedding halfvec(1536),          -- float16 يوفر 50% من الذاكرة مقارنة بـ float32
    fts tsvector GENERATED ALWAYS AS (to_tsvector('simple', content)) STORED
);

CREATE INDEX idx_docs_emb_hnsw ON documents
    USING hnsw (embedding halfvec_cosine_ops)
    WITH (m = 16, ef_construction = 128);

CREATE INDEX idx_docs_fts ON documents USING gin (fts);

SET hnsw.ef_search = 100;
SET hnsw.iterative_scan = relaxed_order;

SELECT id, content, 1 - (embedding <=> $1::halfvec) AS cosine_sim
FROM documents
WHERE tenant_id = 42
ORDER BY embedding <=> $1::halfvec
LIMIT 10;

معاملات المسافة في pgvector: <-> الإقليدية (L₂) · <=> مسافة جيب التمام (1 - cos) · <#> الضرب الداخلي السالب · <+> مانهاتن (L₁).

5.2 Qdrant: التكميم الثنائي وتصفية Payload (Python)

from qdrant_client import QdrantClient, models

client = QdrantClient(url="http://localhost:6333")

client.create_collection(
    collection_name="knowledge_base",
    vectors_config=models.VectorParams(
        size=1536,
        distance=models.Distance.COSINE,
        on_disk=True,
    ),
    quantization_config=models.BinaryQuantization(
        binary=models.BinaryQuantizationConfig(always_ram=True)
    ),
)

client.create_payload_index(
    collection_name="knowledge_base",
    field_name="tenant_id",
    field_schema=models.PayloadSchemaType.KEYWORD,
)

hits = client.query_points(
    collection_name="knowledge_base",
    query=[0.012, -0.045, ...],
    query_filter=models.Filter(
        must=[models.FieldCondition(key="tenant_id", match=models.MatchValue(value="org_a"))]
    ),
    search_params=models.SearchParams(
        quantization=models.QuantizationSearchParams(rescore=True, oversampling=3.0)
    ),
    limit=10,
).points