liminfoA/B Test Calculator
A/B 테스트 필요 기간/표본수 계산기
현재 전환율
감지하고 싶은 최소 변화율 (상대값)
변형당 필요 표본
8,158
총 필요 표본
16,316
예상 소요 기간
17일
기대 전환율
6.00%
통계 용어 설명
유의수준 (Significance Level): 귀무가설이 참일 때 잘못 기각할 확률의 보수. 95%면 p-value 0.05
검정력 (Power): 실제 차이가 있을 때 이를 감지할 확률. 일반적으로 80%
MDE (Minimum Detectable Effect): 감지하고 싶은 최소한의 효과 크기 (상대 변화율)
표본 수 공식: z-score 기반 양측 검정 (two-tailed test)
A/B Test Calculator 소개
A/B 테스트 표본 크기 계산기는 통계적으로 엄밀한 실험을 설계해야 하는 프로덕트 매니저, 그로스 마케터, 데이터 분석가를 위한 무료 브라우저 기반 도구입니다. 기준 전환율, 최소 감지 효과(MDE), 유의수준, 통계적 검정력을 입력하면 각 변형당 및 전체 필요 표본 수를 즉시 계산합니다.
이 도구는 빈도주의 가설 검정의 표준 양측 z-score 공식을 구현합니다. Peter Acklam 알고리즘 기반의 역정규분포 CDF 유리수 근사법을 사용해 알파(1종 오류)와 베타(2종 오류) 임계값에 대한 z값을 정확히 계산합니다. 외부 라이브러리나 조견표 없이 정밀한 표본 수 추정이 가능합니다.
핵심 표본 수 계산 외에도 일일 트래픽을 기반으로 실험 예상 기간(일)도 산출합니다. 실험 일정을 수립하고 계절적 편향을 피하는 데 필수적인 정보입니다. 모든 결과는 입력값을 조정할 때마다 실시간으로 업데이트되어 민감도, 신뢰도, 실험 기간 간의 트레이드오프를 쉽게 탐색할 수 있습니다.
주요 기능
- 역정규분포 CDF 근사법을 사용한 양측 z-score 표본 크기 공식
- 유의수준 90%, 95%, 99% 선택 (알파 = 0.10, 0.05, 0.01)
- 검정력 80%, 90%, 95% 선택 (베타 = 0.20, 0.10, 0.05)
- 기준 대비 상대적 변화율로 MDE(최소 감지 효과) 입력
- 다중 변형 지원: A, B, C, ... N 변형 전체 표본 수 계산
- 일일 트래픽 기반 예상 실험 기간(일) 산출
- 표본 수와 함께 처리 후 기대 전환율 표시
- 유의수준, 검정력, MDE 등 통계 용어 해설 내장
자주 묻는 질문
A/B 테스트에서 MDE(최소 감지 효과)란 무엇인가요?
MDE는 실험에서 신뢰성 있게 감지하고 싶은 기준 전환율 대비 최소 상대적 변화량입니다. 예를 들어 기준 전환율이 5%이고 MDE가 20%라면, 전환율 6%로의 변화를 감지하도록 실험을 설계합니다. MDE가 작을수록 더 많은 표본이 필요합니다.
A/B 테스트에 적합한 유의수준은 무엇인가요?
대부분의 프로덕트 실험에서는 95% 유의수준(p < 0.05)을 사용합니다. 이는 5%의 위양성 가능성을 의미합니다. 잘못된 결론의 비용이 큰 경우 99%를 사용하고, 빠른 탐색적 실험에는 90%도 허용됩니다.
통계적 검정력이란 무엇이며 왜 중요한가요?
검정력(1 - 베타)은 실제 효과가 있을 때 이를 정확히 감지할 확률입니다. 80% 검정력에서는 실제 개선이 있어도 놓칠 확률이 20%입니다. 90% 또는 95% 검정력은 더 많은 표본을 필요로 하지만 위음성(실제 효과를 놓치는 것)의 위험을 줄여줍니다.
표본 크기 공식은 어떻게 계산되나요?
양측 풀링 비율 z-검정 공식을 사용합니다: n = (z_alpha/2 * sqrt(2 * p_avg * (1 - p_avg)) + z_beta * sqrt(p1*(1-p1) + p2*(1-p2)))^2 / (p2 - p1)^2. p1은 기준 전환율, p2는 MDE 적용 후 기대 전환율이며 z값은 역정규분포 CDF로 도출합니다.
예상 실험 기간은 어떻게 계산되나요?
실험 기간(일) = 올림(총 필요 표본 수 / 일일 트래픽). 일일 방문자가 1,000명이고 두 변형에 총 50,000명의 표본이 필요하다면 예상 기간은 50일입니다. 실험 기간 내 균일한 트래픽 분배를 가정합니다.
A/B/C 다중 변형 테스트도 지원하나요?
네. 변형 수 입력을 통해 A/B/C 또는 다변량 테스트를 계획할 수 있습니다. 변형당 표본 수는 동일하게 유지되지만 전체 표본은 변형 수에 비례해 늘어납니다. 변형이 많을수록 실험 기간도 비례해서 증가합니다.
다중 비교 보정(Bonferroni 보정 등)은 적용되나요?
현재 버전은 단일 비교 공식을 사용하며 다중 비교 보정은 적용되지 않습니다. 여러 변형을 동시에 검정하는 경우 가족별 오류율을 제어하기 위해 목표 알파를 비교 횟수로 나누는 Bonferroni 보정 또는 Holm-Bonferroni 보정을 별도로 적용하는 것을 권장합니다.
웹 실험에서 일반적인 전환율과 MDE는 어느 정도인가요?
웹 전환율은 목표(클릭, 가입, 구매)에 따라 보통 1~10% 수준입니다. 잘 설계된 실험에서는 10~30%의 상대적 변화 MDE가 일반적입니다. MDE가 5% 미만으로 매우 작은 경우에는 대규모 트래픽이 있는 서비스에서만 현실적으로 측정 가능합니다.