Vector Database Reference

관리형 저운영 프로덕션 RAG 파이프라인에는 Pinecone이 가장 간단한 옵션입니다 — 하이브리드 검색(밀집 벡터와 희소 키워드 검색 결합)과 종량제 가격의 완전 관리형 서비스입니다. 하이브리드 검색 기능을 갖춘 셀프호스팅 제어가 필요하면 Weaviate가 GraphQL API로 성숙한 솔루션을 제공합니다. 고급 필터링과 최대 쿼리 성능이 필요하면 Qdrant(Rust 기반)가 페이로드 필터링과 내장 양자화로 대규모 메모리 효율을 제공합니다.

Pinecone은 완전 관리형 클라우드 서비스로 인프라를 배포, 확장, 유지보수할 필요가 없습니다. 트레이드오프는 벤더 종속과 사용량에 따라 확장되는 종량제 비용입니다. 오픈소스 대안(Weaviate, Qdrant, Milvus)은 인프라를 직접 배포하고 운영해야 하지만(또는 관리형 클라우드 제공 사용), 데이터에 대한 완전한 제어, 벤더 종속 없음, 규모에 따라 잠재적으로 낮은 비용을 제공합니다. 선택은 팀의 운영 역량과 비용 민감도에 따라 달라집니다.

pgvector는 이미 PostgreSQL 인프라가 있고 스택에 새 데이터베이스를 도입하지 않고 벡터 검색을 추가하고 싶을 때 이상적입니다. PostgreSQL 내에서 직접 ivfflat과 HNSW 인덱스로 ANN 검색을 지원하여 단일 SQL 쿼리에서 벡터 유사도 결과와 관계형 데이터를 조인할 수 있습니다. 제한은 확장성입니다 — pgvector는 수천만 벡터 이하의 데이터셋에 가장 적합합니다. 수십억 벡터나 분산 샤딩이 필요한 경우 Milvus나 Qdrant 같은 전용 솔루션이 더 적합합니다.

FAISS(Facebook AI Similarity Search)는 데이터베이스가 아닌 라이브러리입니다. GPU 가속과 함께 고도로 최적화된 인메모리 벡터 인덱싱 및 검색 알고리즘(IVF, PQ, HNSW)을 제공하여 순수 최근접이웃 검색에서 가장 빠른 옵션입니다. 하지만 영속성, CRUD 연산, 필터링, 내장 분산 모드가 없어 배치 오프라인 워크로드나 대규모 시스템 내 구성 요소로 설계되었습니다. 단일 머신에서 최대 원시 검색 속도가 필요하면 FAISS를, 영속성, 필터링, 실시간 업데이트, 확장성이 필요하면 벡터 데이터베이스를 사용하세요.

하이브리드 검색은 단일 쿼리에서 밀집 벡터 유사도 검색(신경 모델의 임베딩 사용)과 전통적인 희소 키워드 검색(BM25/TF-IDF 등)을 결합합니다. 순수 벡터 검색은 정확한 키워드 매칭(제품 코드, 이름 등)을 놓칠 수 있고, 순수 키워드 검색은 의미적 유사성을 놓치기 때문에 RAG에 중요합니다. Pinecone과 Weaviate는 밀집과 희소 점수 간 가중치 설정이 가능한 네이티브 하이브리드 검색을 지원합니다. 다른 데이터베이스에서는 두 검색을 각각 실행하고 결과를 병합하여 하이브리드 검색을 수동으로 구현할 수 있습니다.

양자화는 벡터를 더 적은 비트로 표현하여 메모리 사용량을 줄입니다 — 예를 들어 스칼라 양자화는 32비트 부동소수점을 8비트 정수로 변환하고(4배 메모리 감소), 프로덕트 양자화는 10-30배 압축을 달성할 수 있습니다. Qdrant과 Milvus가 내장 양자화를 지원합니다. 같은 양의 RAM에 더 많은 벡터를 저장하고, 검색 중 메모리 대역폭을 줄여(처리량 향상) 인프라 비용을 낮출 수 있습니다. 트레이드오프는 양자화 방법과 데이터셋에 따라 일반적으로 1-3%의 작은 리콜 정확도 손실입니다.

LanceDB는 Lance 컬럼형 포맷으로 디스크에 데이터를 저장하는 Rust 기반 서버리스 벡터 데이터베이스입니다. 실행 중인 서버 프로세스가 필요한 다른 벡터 데이터베이스와 달리 LanceDB는 SQLite처럼 애플리케이션에 직접 임베딩할 수 있습니다. 데이터베이스 서버를 관리하고 싶지 않은 엣지 배포, 데스크톱 애플리케이션, CI/CD 파이프라인, 프로토타이핑에 이상적입니다. 셀프호스팅과 클라우드 모드를 모두 지원합니다. 트레이드오프는 Milvus나 Weaviate에 비해 더 새롭고 생태계가 작다는 것입니다.

ChromaDB가 시작하기 가장 쉽습니다 — 내장 임베딩 함수가 있는 Python 네이티브 오픈소스 데이터베이스로 별도의 임베딩 모델 없이 텍스트를 직접 저장할 수 있습니다. pip로 설치하고, 컬렉션을 만들고, 문서를 추가하고, 몇 줄의 Python으로 쿼리합니다. ChromaDB를 넘어서는 프로덕션 사용 사례에서는 Qdrant, Weaviate, Pinecone으로 마이그레이션할 수 있습니다. PostgreSQL과 SQL을 이미 알고 있다면 pgvector도 초보자에게 친화적인 옵션입니다.