벡터 데이터베이스 및 검색 아키텍처 치트 시트: 핵심 개념, 인덱스, 양자화 및 제품 선택

**벡터 데이터베이스(Vector Database)**는 고차원 밀집/희소 임베딩(Embedding)과 메타데이터를 저장하고 근사 최근접 이웃(ANN) 인덱스를 통해 밀리초 단위의 유사도 검색을 제공하는 RAG, 시맨틱 검색 및 AI 에이전트 메모리 계층의 핵심 인프라입니다.

🔗 관련 치트 시트: LLM 및 AI 에이전트 핵심 개념 치트 시트 · 현대 AI 핵심 알고리즘 치트 시트 · PostgreSQL 명령어 치트 시트 · Redis 명령어 치트 시트 · MongoDB 명령어 치트 시트

---

1. 핵심 개념 및 거리 측정 지표

1.1 필수 용어 사전

1.2 3대 핵심 거리 및 유사도 지표

Cosine(u, v) = (u · v) / (‖u‖₂ · ‖v‖₂)
IP(u, v)     = u · v = ∑ᵢ (uᵢ × vᵢ)
L₂(u, v)     = √( ∑ᵢ (uᵢ − vᵢ)² )

---

2. ANN 인덱스 알고리즘 및 벡터 양자화

2.1 벡터 인덱스 비교

HNSW 핵심 튜닝 파라미터:

• M (노드당 최대 양방향 연결 수, 보통 16–64): 클수록 고차원 재현율 향상, 메모리 및 빌드 시간 증가.
• efConstruction (인덱스 빌드 시 후보 큐 크기, 보통 100–400): 빌드 시간에만 영향을 주며 클수록 그래프 품질 향상.
• efSearch (쿼리 시 동적 탐색 폭, top_k 이상 필수): 쿼리마다 동적 조정 가능한 유일한 파라미터. 높이면 재현율 상승, QPS 하락.

2.2 벡터 양자화(Quantization) 및 메모리 산정

1,000만 건 × 1536차원 벡터(FP32 원본) 기준:

원본 벡터 크기 ≈ N × D × 4 Bytes   (HNSW 그래프 인접 구조에 약 1.2×–1.5× 추가 메모리 필요)

---

3. 주요 벡터 데이터베이스 및 검색 솔루션 계층별 비교

3.1 전용 네이티브 벡터 데이터베이스

3.2 순수 벡터 검색 라이브러리 (완전한 DB 아님)

3.3 기존 데이터베이스 및 검색 엔진 확장

3.4 퍼블릭 클라우드 완전 관리형 서비스

---

4. 필터링 전략 및 하이브리드 검색

4.1 메타데이터 필터링 실행 방식

4.2 역순위 융합 (RRF: Reciprocal Rank Fusion)

밀집 벡터 검색과 BM25 키워드 검색은 점수 스케일이 다르므로, 점수 보정 없이 순위만으로 결합하는 RRF를 표준으로 사용합니다:

RRF_Score(d) = ∑_{r ∈ R} 1 / (k + rank_r(d))     (경험적 평활 상수 k = 60)

---

5. 프로덕션 코드 스니펫

5.1 pgvector 스키마, HNSW 인덱스 및 반복 스캔 (SQL)

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE documents (
    id BIGSERIAL PRIMARY KEY,
    tenant_id INT NOT NULL,
    content TEXT NOT NULL,
    embedding halfvec(1536),          -- float16으로 float32 대비 메모리 50% 절감
    fts tsvector GENERATED ALWAYS AS (to_tsvector('simple', content)) STORED
);

CREATE INDEX idx_docs_emb_hnsw ON documents
    USING hnsw (embedding halfvec_cosine_ops)
    WITH (m = 16, ef_construction = 128);

CREATE INDEX idx_docs_fts ON documents USING gin (fts);

SET hnsw.ef_search = 100;
SET hnsw.iterative_scan = relaxed_order;

SELECT id, content, 1 - (embedding <=> $1::halfvec) AS cosine_sim
FROM documents
WHERE tenant_id = 42
ORDER BY embedding <=> $1::halfvec
LIMIT 10;

pgvector 거리 연산자: <-> 유클리드 거리 (L₂) · <=> 코사인 거리 (1 - cos) · <#> 음의 내적 · <+> 맨해튼 거리 (L₁).

5.2 Qdrant 이진 양자화 및 Payload 필터링 (Python)

from qdrant_client import QdrantClient, models

client = QdrantClient(url="http://localhost:6333")

client.create_collection(
    collection_name="knowledge_base",
    vectors_config=models.VectorParams(
        size=1536,
        distance=models.Distance.COSINE,
        on_disk=True,
    ),
    quantization_config=models.BinaryQuantization(
        binary=models.BinaryQuantizationConfig(always_ram=True)
    ),
)

client.create_payload_index(
    collection_name="knowledge_base",
    field_name="tenant_id",
    field_schema=models.PayloadSchemaType.KEYWORD,
)

hits = client.query_points(
    collection_name="knowledge_base",
    query=[0.012, -0.045, ...],
    query_filter=models.Filter(
        must=[models.FieldCondition(key="tenant_id", match=models.MatchValue(value="org_a"))]
    ),
    search_params=models.SearchParams(
        quantization=models.QuantizationSearchParams(rescore=True, oversampling=3.0)
    ),
    limit=10,
).points