liminfoEmbedding Model Reference
임베딩 모델 레퍼런스 - 차원, 성능, 가격 비교
| 모델 | 제공사 | 차원 | Max Tokens | MTEB | 다국어 | 가격 | 오픈 |
|---|---|---|---|---|---|---|---|
text-embedding-3-large | OpenAI | 3072 | 8,191 | 64.6 | Yes | $0.13/1M | No |
text-embedding-3-small | OpenAI | 1536 | 8,191 | 62.3 | Yes | $0.02/1M | No |
text-embedding-4 | OpenAI | 3072 | 8,191 | 66.4 | Yes | $0.10/1M | No |
voyage-3 | Voyage AI | 1024 | 32,000 | 67.3 | Yes | $0.06/1M | No |
embed-v3.5 | Cohere | 1024 | 512 | 65.0 | Yes | $0.10/1M | No |
mistral-embed | Mistral | 1024 | 8,192 | 63.2 | Yes | $0.10/1M | No |
jina-embeddings-v3 | Jina AI | 1024 | 8,192 | 65.5 | Yes | $0.02/1M | No |
BGE-large-en-v1.5 | BAAI | 1024 | 512 | 64.2 | No | Free | Yes |
BGE-M3 | BAAI | 1024 | 8,192 | 68.1 | Yes | Free | Yes |
nomic-embed-text-v1.5 | Nomic | 768 | 8,192 | 62.3 | No | Free | Yes |
e5-mistral-7b-instruct | Microsoft | 4096 | 32,768 | 66.6 | Yes | Free | Yes |
e5-large-v2 | Microsoft | 1024 | 512 | 62.0 | No | Free | Yes |
GTE-Qwen2-7B-instruct | Alibaba | 3584 | 32,768 | 67.2 | Yes | Free | Yes |
GTE-large | Alibaba | 1024 | 8,192 | 63.1 | No | Free | Yes |
all-MiniLM-L6-v2 | SBERT | 384 | 256 | 56.3 | No | Free | Yes |
Embedding Model Reference 소개
임베딩 모델 레퍼런스는 OpenAI, Voyage AI, Cohere, BAAI, Microsoft, Nomic, SBERT, Alibaba의 10가지 널리 사용되는 텍스트 임베딩 모델을 검색 가능한 비교 테이블로 제공합니다. 각 모델의 제공사, 벡터 차원, 최대 입력 토큰 수, 백만 토큰당 가격, 오픈소스 여부를 보여줍니다. RAG 파이프라인, 시맨틱 검색 시스템, 유사성 기반 애플리케이션을 위한 임베딩 백엔드 선택 시 모델을 한눈에 비교할 수 있습니다.
레퍼런스는 상용 및 오픈소스 모델을 균형 있게 담고 있습니다: text-embedding-3-large(3072 차원, OpenAI), voyage-3(Voyage AI), embed-v3.5(Cohere), BGE-large-en-v1.5 및 BGE-M3(BAAI, 무료), nomic-embed-text-v1.5(Nomic, 무료), e5-large-v2(Microsoft, 무료), all-MiniLM-L6-v2(SBERT, 384 차원, 무료), GTE-large(Alibaba, 무료). 엣지 디바이스에 적합한 경량 모델부터 엔터프라이즈 검색용 고차원 상용 모델까지 전체 스펙트럼을 다룹니다.
검색창으로 모델명이나 제공사를 필터링하고, 전체/오픈소스/상용 토글로 결과를 좁힐 수 있습니다. 모든 필터링은 클라이언트 사이드에서 수행되며 데이터셋이 페이지 번들에 내장되어 있어 검색이 즉각적이고 네트워크 요청이 필요 없습니다. 이 레퍼런스는 임베딩 비용과 품질 트레이드오프를 평가하는 ML 엔지니어, 벡터 데이터베이스를 통합하는 개발자, 오픈 웨이트 모델을 비교하는 연구자에게 특히 유용합니다.
주요 기능
- OpenAI, Voyage AI, Cohere, BAAI(BGE), Microsoft(E5), Nomic, SBERT, Alibaba(GTE) 10개 모델 포함
- 각 모델의 벡터 차원, 최대 입력 토큰 수, 백만 토큰당 가격 표시
- 오픈소스/상용 필터 토글로 무료 또는 유료 모델 빠르게 좁히기
- 모델명 또는 제공사명 실시간 검색
- 현재 필터에 매칭되는 모델 수 표시
- 자유롭게 사용 가능한 모델을 빠르게 식별하는 오픈소스 여부(Yes/No) 배지
- 100% 클라이언트 사이드 — 모든 데이터가 페이지에 내장, API 호출 불필요
- 다크 모드 지원 및 데스크톱·모바일 반응형 테이블 레이아웃
자주 묻는 질문
텍스트 임베딩 모델이란 무엇인가요?
텍스트 임베딩 모델은 텍스트(단어, 문장, 문서)를 고차원 공간의 밀집 수치 벡터로 변환합니다. 의미가 유사한 텍스트는 이 공간에서 가까운 벡터를 생성합니다. 임베딩은 시맨틱 검색, 검색 증강 생성(RAG), 클러스터링, 분류, 추천 시스템의 기반이 됩니다.
레퍼런스의 차원(dimensions)은 무엇을 의미하나요?
차원은 모델이 생성하는 벡터의 길이를 나타냅니다. text-embedding-3-large는 3072차원 벡터를, all-MiniLM-L6-v2는 384차원 벡터를 생성합니다. 차원이 높을수록 더 많은 시맨틱 뉘앙스를 포착할 수 있지만 저장소와 연산이 더 많이 필요합니다. 많은 애플리케이션에서 768~1024 차원이 좋은 균형을 제공합니다.
최대 토큰 수 제한이란 무엇인가요?
최대 토큰 수는 모델이 단일 임베딩 요청에서 처리할 수 있는 최대 토큰 수입니다. OpenAI 모델은 8,191 토큰(약 6,000 단어)을 지원하는 반면, all-MiniLM-L6-v2는 256 토큰만 지원합니다. 긴 문서의 경우 임베딩 전에 모델의 토큰 제한에 맞는 청크로 분할해야 합니다.
RAG 애플리케이션에는 어떤 모델을 선택해야 하나요?
프로덕션 RAG 시스템에는 text-embedding-3-small(OpenAI, $0.02/1M 토큰, 1536 차원)이 비용 효율적인 인기 선택입니다. 오픈소스 옵션으로는 BGE-M3(BAAI, 무료, 1024 차원, 8192 최대 토큰)이 매우 우수합니다. 경량 온디바이스 사용에는 all-MiniLM-L6-v2(384 차원, 무료)가 빠르고 리소스 효율적입니다.
오픈소스와 상용 모델의 차이점은 무엇인가요?
오픈소스 모델(BGE, E5, nomic-embed, all-MiniLM, GTE)은 무료로 사용하고 자체 인프라에 셀프 호스팅할 수 있습니다. 상용 모델(OpenAI, Voyage AI, Cohere)은 API를 통해 접근하며 토큰 단위로 요금이 청구됩니다. 오픈소스 모델은 데이터 프라이버시와 쿼리 비용 없음을 제공하고, 상용 모델은 통합이 쉽고 더 높은 품질을 제공하는 경우가 많습니다.
BGE-M3와 BGE-large-en-v1.5의 차이점은 무엇인가요?
BGE-large-en-v1.5는 512 최대 토큰 제한이 있는 영어 특화 모델이며, BGE-M3는 8,192 토큰 제한으로 100개 이상의 언어를 지원하는 다국어 모델입니다. BGE-M3는 일반적으로 다국어 애플리케이션이나 더 긴 컨텍스트 윈도우가 필요한 경우에 선호됩니다.
상용 임베딩의 가격 정책은 어떻게 되나요?
상용 임베딩 API는 백만 입력 토큰당 요금을 청구합니다. OpenAI의 text-embedding-3-large는 $0.13/1M 토큰, text-embedding-3-small은 $0.02/1M 토큰입니다. Voyage AI의 voyage-3는 $0.06/1M 토큰, Cohere의 embed-v3.5는 $0.10/1M 토큰입니다. 이 레퍼런스의 다른 모든 모델은 무료입니다.
벡터 데이터베이스 차원 설정에 이 레퍼런스를 사용할 수 있나요?
네. 차원 열에서 모델이 생성하는 벡터 크기를 직접 확인하여 벡터 데이터베이스(Pinecone, Weaviate, Qdrant, Milvus, pgvector 등)의 인덱스 크기를 설정할 수 있습니다. 예를 들어 text-embedding-3-large를 선택했다면 인덱스를 3072 차원으로 설정하면 됩니다. 차원이 적은 모델을 선택하면 스토리지가 줄고 쿼리 속도가 향상됩니다.