A/B 테스트 period calculation
안녕하세요
좋은 강의 감사드립니다!
a/b test 에서 minimum sample 사이즈를 구한 뒤 period calculation 단계에서 질문 있어서 문의드립니다. 강의 듣던 중에 다른 a/b 테스트 유튜브 강의를 보게 되었는데요.
제가 이강의에서 배운바로는 예를들어
minimum sample size가 5,000명이고
1) daily user: 300명
2) required days는 약 17.7일이 될거구요
3) # of test group은 A,B 2그룹이라고 할때
최소 period는 17.7 * 2개그룹 = 35.5일로 계산하는 걸로 이해했는데요.
해당 유튜브 강의에서는 A, B그룹의 테스트가 동시에 진행하는 것을 추천한다고 하더라구요.
이 경우는 35.5일이 아닌 A, B그룹 동시에 진행하니 17.7일이 될수 있는건가요?
상황에 따라 다른건지
어떤게 맞는건지 해깔리네요..
문의드립니다.
답변 1
0
안녕하세요.
제가 질문을 정확히 이해하였는지는 잘 모르겠습니다만, minimum sample size 수는 각 그룹별로 충족해주어야 하는 샘플 수이기 때문에, daily user 가 300인 상황에서 35.5일을 채워야하는게 맞습니다. 그리고 300을 2(그룹수)로 나눠서 a , b 그룹 동시에 daily로 150, 150채우면서 35.5일까지 실험을 진행하게 됩니다.
A/B테스트 진행 시 실험 내용 중 이해 안가는 부분
0
22
1
모델 서빙과 관련된 강좌가 출시되는지 질문드립니다.
0
29
2
6-7 로그설계하기 연습문제 제출/ 피드백 요청
0
34
2
4-8. 지표 정의 연습 문제
0
50
2
Tracking Plan, Taxonomy 문제풀이
0
79
1
6-7 로그설계하기 실습 제출
0
51
1
6-7 로그설계하기 연습문제 제출/ 피드백 부탁드립니다.!!
0
53
1
R 코드 페이지에 대한 공부 목적..
0
35
1
질문있습니다!
0
63
1
최소 샘플 사이즈
0
82
1
후속모니터링에 대해 질문드립니다.
0
94
1
샘플 사이즈 문의
0
145
1
결과정리, 해석해주시는 부분에서 질문
0
151
1
최소 샘플 사이즈
0
154
1
여기서 유의수준은 p-value와 동일한가요?
0
395
1
Pdf자료가 어딨죠
0
177
1
최소 샘플 사이즈 관련 문의드립니다.
0
428
1
최소 샘플 사이즈 관련 질문
0
217
1
학습 자료 질문
0
239
1
A/B Test 실험주제 예상지표 선정
0
542
2
가설검정 강의 마지막 부분이 헷갈립니다.
0
593
1
'p-value는 기존 귀무가설이 발생할 확률'이라고 하셨는데요. 이건 잘못된 설명 아닌가요?
0
436
1
MDE의 D는 detectable입니다.
0
420
1
디폴트 정렬 상태로 전환하지 않고 필터 정렬 방법을 바꾼 유저는 제외해야 하나요?
0
379
1