AI Token Counter

토큰은 대규모 언어 모델이 텍스트를 처리하는 기본 단위입니다. 토큰은 모델의 토크나이저에 따라 단어 전체, 단어의 일부, 단일 문자, 심지어 구두점이 될 수 있습니다. 영어 텍스트의 경우 한 토큰은 대략 4자 또는 약 0.75단어에 해당합니다. 한국어의 경우 한 글자가 보통 1~2개의 토큰을 소비합니다. 토큰 수를 이해하는 것은 LLM API가 토큰 단위로 과금하고 컨텍스트 윈도우 한도를 적용하기 때문에 매우 중요합니다.

영어 기준 1,000단어는 일반적으로 약 1,300~1,500토큰에 해당합니다. "the", "is", "a" 같은 짧은 단어는 보통 1토큰이지만, 긴 단어나 드문 단어는 2~3개의 서브워드 토큰으로 분할됩니다. 코드, 기술 용어, URL은 일반 문장보다 단어당 더 많은 토큰을 생성하는 경향이 있습니다.

각 LLM 제공업체는 고유한 어휘를 가진 서로 다른 토크나이저를 사용합니다. OpenAI의 GPT 모델은 tiktoken을, Anthropic의 Claude는 자체 BPE 토크나이저를, Google의 Gemini는 SentencePiece를 사용합니다. 이 토크나이저들은 서로 다른 데이터셋으로 학습되었고 어휘 크기도 다르기 때문에 같은 텍스트라도 토큰 수가 달라집니다. 이 도구는 일반적인 토큰화 규칙에 기반한 추정치를 제공하며, 비용 계획과 프롬프트 최적화에 충분한 정확도를 갖추고 있습니다.

토큰 사용량을 줄이는 여러 전략이 있습니다. (1) 불필요한 지시문과 예시를 제거하여 프롬프트를 간결하게 작성합니다. (2) Few-shot 예시에서 짧은 변수명과 약어를 사용합니다. (3) 다국어 애플리케이션의 경우, 영어가 한국어보다 같은 의미를 더 적은 토큰으로 표현한다는 점을 활용합니다. (4) 지원되는 경우 프롬프트 캐싱을 활용합니다. (5) 시스템 프롬프트를 효율적으로 설계합니다. (6) 간단한 작업에는 더 작고 저렴한 모델을 고려합니다.

컨텍스트 윈도우는 LLM이 한 번의 요청에서 처리할 수 있는 최대 토큰 수로, 입력 프롬프트와 생성된 출력을 모두 포함합니다. GPT-4o는 최대 128K 토큰, Claude 3.5 Sonnet은 200K 토큰, Gemini 1.5 Pro는 최대 2M 토큰을 지원합니다. 입력이 컨텍스트 윈도우를 초과하면 모델이 입력을 잘라내거나 오류를 반환합니다. 이 토큰 카운터를 사용하면 API 호출 전에 프롬프트가 이 한도 내에 있는지 확인할 수 있습니다.

GPT-4o의 가격은 입력 기준 백만 토큰당 약 $2.50, 출력 기준 백만 토큰당 약 $10.00입니다. Claude Sonnet은 입력 $3.00/1M, 출력 $15.00/1M이며, Gemini Pro는 입력 $1.25/1M, 출력 $5.00/1M입니다. 이 도구는 이러한 단가를 기반으로 예상 입력 비용을 계산하여 제공업체 간 비교 및 AI 프로젝트 예산 계획에 도움을 줍니다. 가격은 변동될 수 있으므로 각 제공업체의 가격 페이지에서 최신 정보를 확인하세요.

LLM 토크나이저는 주로 영어 중심 데이터셋으로 학습되기 때문에 영어 단어는 토크나이저 어휘에 잘 표현되어 효율적으로 압축됩니다(약 4자당 1토큰). 한국어 글자는 학습 데이터에서 상대적으로 적게 등장하므로 개별 토큰으로 인코딩되거나 여러 바이트 수준 토큰으로 분할되는 경우가 많습니다. 같은 의미의 문장이라도 한국어는 영어보다 1.5~2배 많은 토큰을 소비할 수 있습니다. 이 도구는 CJK 비율이 30%를 초과할 때 2자당 1토큰의 추정 방식을 적용하여 더 정확한 결과를 제공합니다.

이 도구는 각 모델의 정확한 토크나이저 알고리즘이 아닌 일반적인 토큰화 휴리스틱을 기반으로 추정치를 제공합니다. 정확한 토큰 수가 필요한 경우 각 제공업체의 공식 토크나이저 라이브러리(OpenAI의 tiktoken 등)를 사용해야 합니다. 다만 이 도구의 추정치는 프롬프트 계획, 비용 예산 수립, 컨텍스트 윈도우 관리에 충분한 정확도를 갖추고 있으며, CJK 인식 조정 기능 덕분에 영어 전용 추정기가 토큰을 크게 과소평가하는 다국어 환경에서 특히 유용합니다.