최소 샘플 사이즈 관련 문의드립니다.
만약에 하기와 같은 실험이면 어떻게 최소 샘플 사이즈를 구하나요?
기존 광고는 이미지 광고였습니다. 그래서 비디오 광고로 바꾸고자해서 ABT를 합니다.
이 때 Success metric은 Click 수 입니다. (CTR이 아님)
클릭수 : 10,000회
MDE : 15,000회 --> (15000-10000)/10000 = 0.5
Alpha = 0.05
Beta = 0.8
이렇게 Baseline conversion rate(소수)이 아니고 Baseline conversion 정수면 어떻게 해야할까요?
답변 1
0
안녕하세요.
학습자님 질문에 대한 답변 드립니다.
AB Test를 위한 최소 샘플사이즈 수를 계산하기 위해서는 portion(지표)인 경우에는 쉽게 구할 수 있습니다.
다만, continuous(지표)에 대해서는 한 가지 문제 때문에 바로 구할수 없는데요.
Standard Deviation입니다.
보통 실험 설계전에 위 통계량을 구할 방법이 없기 때문에 임의의 값을 넣어서 샘플 사이즈 수를 구하거나,
혹은 이전에 비슷한 실험이나 연구가 있었다면 해당 실험 또는 연구에서 얻은 데이터의 표준편차를 사용할 수 있습니다.
감사합니다.
위 공식을 활용하시면 됩니다.0
선생님, 제가 확실히 값을 찾기위해 죄송하지만 예시로 만들어 봤습니다.
기존 광고 impression count 100
새로운 광고 impression count 130
MDE : 0.3
기존실험에서 impression 표준편차 5
주신 공식 기준 ((0.84+1.64)**2 X 5**2) / (130-100)**2 = 0.17
혹시 분모가 MDE로 가는게 맞을까요? (130-100)**2을 0.3**2로 가면 1708 명 으로 나와서요.
0
맞습니다.
학습자님께서 현재 확인해보고 싶으신게,
새로운 광고가 유저로인해 더 많이 한 클릭되는것을 원하시는 거 아니실까요?
만약 이게 아니시라면,
유저 클릭 유무를 통한 비율 검정으로 샘플수을 구하시면 됩니다.
6-7 로그설계하기 연습문제 제출/ 피드백 요청
0
22
2
4-8. 지표 정의 연습 문제
0
41
2
Tracking Plan, Taxonomy 문제풀이
0
67
1
6-7 로그설계하기 실습 제출
0
47
1
6-7 로그설계하기 연습문제 제출/ 피드백 부탁드립니다.!!
0
45
1
R 코드 페이지에 대한 공부 목적..
0
30
1
질문있습니다!
0
59
1
안녕하세요 열심히 수강중인 학생입니다
0
63
2
변수 변환 기출변형 문제 질문
0
89
3
최소 샘플 사이즈
0
79
1
후속모니터링에 대해 질문드립니다.
0
93
1
샘플 사이즈 문의
0
144
1
A/B 테스트 period calculation
0
141
1
결과정리, 해석해주시는 부분에서 질문
0
150
1
최소 샘플 사이즈
0
153
1
여기서 유의수준은 p-value와 동일한가요?
0
391
1
Pdf자료가 어딨죠
0
175
1
최소 샘플 사이즈 관련 질문
0
215
1
학습 자료 질문
0
238
1
A/B Test 실험주제 예상지표 선정
0
541
2
가설검정 강의 마지막 부분이 헷갈립니다.
0
592
1
'p-value는 기존 귀무가설이 발생할 확률'이라고 하셨는데요. 이건 잘못된 설명 아닌가요?
0
433
1
MDE의 D는 detectable입니다.
0
419
1
디폴트 정렬 상태로 전환하지 않고 필터 정렬 방법을 바꾼 유저는 제외해야 하나요?
0
377
1