최소 샘플 사이즈 관련 질문
선생님 안녕하세요
좋은강의 감사합니다.
A/B 테스트 실헙계획 - 집단크기 결정 관련해서 내용 질문이 있습니다.
해당 강의의 내용은, AB테스트가 유의미해지려면 필요로하는 최소 샘플사이즈가 있다 인데요
python scipy 에서 ttest_ind 함수를 사용하면요
from scipy import stats
t, p = stats.ttest_ind(array1, array2, equal_var= False)
이런식으로 하면 t와 p가 정해지는데, 여기에서 array 1과 array 2가 최소 샘플 수를 만족시킨다는 보장이 없는 것이잖아요.
그럼 여기에서 나온 t p는 어떻게 해석해야 하는건가요?
回答 1
0
안녕하세요.
거친코딩입니다.
일단 먼저 좋은 질문 해주셔서 감사합니다.
제가 강의에서도 말씀드린대로
신뢰할수있는 ab test결과를 얻으시려면 필요충분한 샘플 사이즈수가 확보되어야한다고 말씀드렸습니다.
그리고 파이썬에서 계산되는 t값과 p값은 샘플사이즈수와는 별개로 리스트값에 어떠한 값이 존재하면 통계량을 산출하게 되어있습니다.
그런데 만약에 리스트안에 10:10 개의 t test를 진행하면 p value 값이 0.05가 나와도
해석상으로는 우리는 신뢰할 수 있는 0.05라 말하기 어렵다 라고 해석하시면 됩니다.
신뢰있는 0.05가 되기위해서는 강의에서 나오는 방식대로 충분한 샘플 사이즈수를 확보해주시기 바랍니다.
감사합니다.
거친코딩 드림
6-7 로그설계하기 연습문제 제출/ 피드백 요청
0
22
2
4-8. 지표 정의 연습 문제
0
41
2
Tracking Plan, Taxonomy 문제풀이
0
67
1
6-7 로그설계하기 실습 제출
0
47
1
6-7 로그설계하기 연습문제 제출/ 피드백 부탁드립니다.!!
0
45
1
R 코드 페이지에 대한 공부 목적..
0
30
1
질문있습니다!
0
59
1
안녕하세요 열심히 수강중인 학생입니다
0
63
2
변수 변환 기출변형 문제 질문
0
89
3
최소 샘플 사이즈
0
79
1
후속모니터링에 대해 질문드립니다.
0
93
1
샘플 사이즈 문의
0
144
1
A/B 테스트 period calculation
0
141
1
결과정리, 해석해주시는 부분에서 질문
0
150
1
최소 샘플 사이즈
0
153
1
여기서 유의수준은 p-value와 동일한가요?
0
391
1
Pdf자료가 어딨죠
0
175
1
최소 샘플 사이즈 관련 문의드립니다.
0
427
1
학습 자료 질문
0
238
1
A/B Test 실험주제 예상지표 선정
0
541
2
가설검정 강의 마지막 부분이 헷갈립니다.
0
592
1
'p-value는 기존 귀무가설이 발생할 확률'이라고 하셨는데요. 이건 잘못된 설명 아닌가요?
0
433
1
MDE의 D는 detectable입니다.
0
419
1
디폴트 정렬 상태로 전환하지 않고 필터 정렬 방법을 바꾼 유저는 제외해야 하나요?
0
377
1