Inflearn Community Q&A
asked
최소 샘플 사이즈 관련 문의드립니다.
Resolved
Written on
·
394
·
Edited
0
만약에 하기와 같은 실험이면 어떻게 최소 샘플 사이즈를 구하나요?
기존 광고는 이미지 광고였습니다. 그래서 비디오 광고로 바꾸고자해서 ABT를 합니다.
이 때 Success metric은 Click 수 입니다. (CTR이 아님)
클릭수 : 10,000회
MDE : 15,000회 --> (15000-10000)/10000 = 0.5
Alpha = 0.05
Beta = 0.8
이렇게 Baseline conversion rate(소수)이 아니고 Baseline conversion 정수면 어떻게 해야할까요?
Answer 1
0
안녕하세요.
학습자님 질문에 대한 답변 드립니다.
AB Test를 위한 최소 샘플사이즈 수를 계산하기 위해서는 portion(지표)인 경우에는 쉽게 구할 수 있습니다.
다만, continuous(지표)에 대해서는 한 가지 문제 때문에 바로 구할수 없는데요.
Standard Deviation입니다.
보통 실험 설계전에 위 통계량을 구할 방법이 없기 때문에 임의의 값을 넣어서 샘플 사이즈 수를 구하거나,
혹은 이전에 비슷한 실험이나 연구가 있었다면 해당 실험 또는 연구에서 얻은 데이터의 표준편차를 사용할 수 있습니다.
감사합니다.
위 공식을 활용하시면 됩니다.
선생님, 제가 확실히 값을 찾기위해 죄송하지만 예시로 만들어 봤습니다.
기존 광고 impression count 100
새로운 광고 impression count 130
MDE : 0.3
기존실험에서 impression 표준편차 5
주신 공식 기준 ((0.84+1.64)**2 X 5**2) / (130-100)**2 = 0.17
혹시 분모가 MDE로 가는게 맞을까요? (130-100)**2을 0.3**2로 가면 1708 명 으로 나와서요.
맞습니다.
학습자님께서 현재 확인해보고 싶으신게,
새로운 광고가 유저로인해 더 많이 한 클릭되는것을 원하시는 거 아니실까요?
만약 이게 아니시라면,
유저 클릭 유무를 통한 비율 검정으로 샘플수을 구하시면 됩니다.
선생님, 혹시 데이터의 표준편차가 있다면 샘플사이즈 수를 구하는 공식이 있으실까요?