-
질문 & 답변
카테고리
-
세부 분야
기획 · 전략 · PM
-
해결 여부
해결됨
최소 샘플 사이즈 관련 문의드립니다.
24.03.26 19:20 작성 24.03.26 19:25 수정 조회수 107
0
만약에 하기와 같은 실험이면 어떻게 최소 샘플 사이즈를 구하나요?
기존 광고는 이미지 광고였습니다. 그래서 비디오 광고로 바꾸고자해서 ABT를 합니다.
이 때 Success metric은 Click 수 입니다. (CTR이 아님)
클릭수 : 10,000회
MDE : 15,000회 --> (15000-10000)/10000 = 0.5
Alpha = 0.05
Beta = 0.8
이렇게 Baseline conversion rate(소수)이 아니고 Baseline conversion 정수면 어떻게 해야할까요?
답변을 작성해보세요.
0
거친코딩
지식공유자2024.03.26
안녕하세요.
학습자님 질문에 대한 답변 드립니다.
AB Test를 위한 최소 샘플사이즈 수를 계산하기 위해서는 portion(지표)인 경우에는 쉽게 구할 수 있습니다.
다만, continuous(지표)에 대해서는 한 가지 문제 때문에 바로 구할수 없는데요.
Standard Deviation입니다.
보통 실험 설계전에 위 통계량을 구할 방법이 없기 때문에 임의의 값을 넣어서 샘플 사이즈 수를 구하거나,
혹은 이전에 비슷한 실험이나 연구가 있었다면 해당 실험 또는 연구에서 얻은 데이터의 표준편차를 사용할 수 있습니다.
감사합니다.
위 공식을 활용하시면 됩니다.
Seongmin Lee
질문자2024.03.26
선생님, 제가 확실히 값을 찾기위해 죄송하지만 예시로 만들어 봤습니다.
기존 광고 impression count 100
새로운 광고 impression count 130
MDE : 0.3
기존실험에서 impression 표준편차 5
주신 공식 기준 ((0.84+1.64)**2 X 5**2) / (130-100)**2 = 0.17
혹시 분모가 MDE로 가는게 맞을까요? (130-100)**2을 0.3**2로 가면 1708 명 으로 나와서요.
거친코딩
지식공유자2024.03.26
제가 좀 이해가 안되는게 있는데,
mu_alpha mu_0가 130, 100인가요?
평균 클릭수를 하셔야하는데,
일반 카운트 sum 을 하신게 아니신가요?
거친코딩
지식공유자2024.03.26
맞습니다.
학습자님께서 현재 확인해보고 싶으신게,
새로운 광고가 유저로인해 더 많이 한 클릭되는것을 원하시는 거 아니실까요?
만약 이게 아니시라면,
유저 클릭 유무를 통한 비율 검정으로 샘플수을 구하시면 됩니다.
답변 1