49,500원
다른 수강생들이 자주 물어보는 질문이 궁금하신가요?
- 해결됨AB 테스트 실무자 완벽 가이드
최소 샘플 사이즈 관련 문의드립니다.
만약에 하기와 같은 실험이면 어떻게 최소 샘플 사이즈를 구하나요? 기존 광고는 이미지 광고였습니다. 그래서 비디오 광고로 바꾸고자해서 ABT를 합니다. 이 때 Success metric은 Click 수 입니다. (CTR이 아님) 클릭수 : 10,000회MDE : 15,000회 --> (15000-10000)/10000 = 0.5Alpha = 0.05Beta = 0.8이렇게 Baseline conversion rate(소수)이 아니고 Baseline conversion 정수면 어떻게 해야할까요?
- 해결됨AB 테스트 실무자 완벽 가이드
최소 샘플 사이즈 관련 질문
선생님 안녕하세요 좋은강의 감사합니다. A/B 테스트 실헙계획 - 집단크기 결정 관련해서 내용 질문이 있습니다. 해당 강의의 내용은, AB테스트가 유의미해지려면 필요로하는 최소 샘플사이즈가 있다 인데요 python scipy 에서 ttest_ind 함수를 사용하면요 from scipy import statst, p = stats.ttest_ind(array1, array2, equal_var= False)이런식으로 하면 t와 p가 정해지는데, 여기에서 array 1과 array 2가 최소 샘플 수를 만족시킨다는 보장이 없는 것이잖아요.그럼 여기에서 나온 t p는 어떻게 해석해야 하는건가요?
- 해결됨AB 테스트 실무자 완벽 가이드
학습 자료 질문
안녕하세요,a/b 테스트에 대한 유익한 강의 감사합니다.오늘 강의 수강하기 시작했는데, 강의 소개 중 참고사항에 있는 학습자료1~7강까지 강의에 나오는 PDF를 제공할 예정입니다.6~7강에 사용되는 엑셀 파일을 제공할 예정입니다.에 대한 학습자료는 혹시 어디에서 찾을 수 있나요?강의 화면 상단에서 내려받을 수 있는 자료는 첫 강의에 있는 'OT 자료'만 보입니다.
- 미해결AB 테스트 실무자 완벽 가이드
샘플 사이즈 관련 질문
AB 테스트 평가지표로 활용되는 경우는 크게 평균지표와, 비율 지표가 있습니다. 이때 어떤 지표가 평가기준으로 하는 가에 따라 샘플 사이즈 계산 방법도 달라지게 될텐데요,강의에서는 실험목표에 지정된 평가지표(비율지표)를 기준으로 샘플사이즈를 계산하고 해당 모수들을 기반으로 ARPU와 같은 평균지표 검정도 같이 수행하고 있습니다.이부분 또한, 평가 지표마다 각기 다른 모수를 셋팅하기 어렵다는 현실적인 문제가 엮여 있을것 같습니다. 현업에서도 메인 평가지표를 기준으로 샘플사이즈를 계산하고, 해당 수준을 만족하는 동일한 그룹에 대해 여러 종류(비율/평균)의 평가지표를 같이 검정하는지 질문드립니다.
- 미해결AB 테스트 실무자 완벽 가이드
카테고리별 통계적 검정관련 질문
안녕하세요 카테고리별 통계적 검증 관련해서 질문 있습니다.최초 실험 설계시 유의 수준과 검정력, 베이스 수준에 따른 리프트 수준을 고려하여 통계적 검증을 위한 최초 샘플 사이즈를 계산합니다.그러나 동일한 모수에 대해 카테고리별 구매 전환율을 검정하는 경우와 달리, OS별 구매 전환율은 검정 수행시 각 실험 그룹의 모수가 절반 수준으로 줄어들게 되는데, 강의에서는 이 상태로 통계적 검정을 진행하고 있습니다.검정 결과는 공식에 따라 계산 될 수 있겠지만 샘플사이즈가 줄어들면서 사전에 고려했던 베타 오류수준을 만족하지 못하게 될텐데요, 이 상태에서 나온 검정 결과도 현업에서 전체 그룹에 대한 검정 결과와 동일한 수준의 검정 결과로 판단하고 있는지 궁금합니다.물론 현실적으로 각 세그먼트별 샘플사이즈 까지 최소 샘플 사이즈를 맞추려면 비용이 과다하게 들어서, 세그먼트 분할에 따라 모수가 줄어들 경우에는 검정 결과를 참고용 정도로만 활용할 수 있을것 같은데 현업에서는 이와 관련해서 어떤 기준을 갖고 계신지질문 드립니다.
- 해결됨AB 테스트 실무자 완벽 가이드
A/B Test 실험주제 예상지표 선정
안녕하세요. 거친코딩님집단크기 결정 챕터에서는 실험 유형의 히스토리를 보고 이런 실험을 했을때 평균적으로 얼마정도의 lift 상승이 있었는지 보게되면 예를들어 2%정도 상승했다 정도를 확인할 수 있다고 하셨는데 A/B Test 실험주제1에서 실험목표를 검색클릭률 2% 상승로 잡으신 이유도 예시기 때문에 그냥 2%로 잡으신걸까요? 혹은 이유가 있으신건지 궁금합니다.
- 미해결AB 테스트 실무자 완벽 가이드
가설검정 강의 마지막 부분이 헷갈립니다.
가설검정 마지막 부분이 헷갈려서 질문드립니다. 단측검정일 경우 0.05로 유의수준을 잡지만양측검정일 경우 그래프에서는 a/2로 되어있으니 0.025로 가는게 맞나요? 엄격한, 보수적인 실험이 안되도록 조심하라고 하셨는데 0.05로 가는게 맞나요? 말씀해주신 내용과 그래프가 살짝 상반된 것 같아서 질문 드립니다.강의 잘보고있습니다. 감사합니다.
- 미해결AB 테스트 실무자 완벽 가이드
'p-value는 기존 귀무가설이 발생할 확률'이라고 하셨는데요. 이건 잘못된 설명 아닌가요?
안녕하세요.모르고 말씀하신 것은 아닌 것 같은데요. 수정이 필요할 것 같습니다.
- 미해결AB 테스트 실무자 완벽 가이드
MDE의 D는 detectable입니다.
안녕하세요.오타인 줄 알았는데, 발음도 defectable이라고 하셔서 잘못 알고 계신 것 같아 말씀드려요!
- 미해결AB 테스트 실무자 완벽 가이드
디폴트 정렬 상태로 전환하지 않고 필터 정렬 방법을 바꾼 유저는 제외해야 하나요?
안녕하세요.A: 판매순B: 배달비 낮은순C: 별점 높은순D: 배달 빠른순이렇게 필터 디폴트 값을 각각 4개의 그룹으로 나누어 보여준 뒤 각 그룹에 속하는 유저들의 output metric(ARPU, 전환율 등)을 비교하는 것으로 보이는데요.만약 A 그룹의 유저가 스스로 필터를 바꿔서 "별점 높은순"을 선택한 뒤 결제하거나 전환했다면, 기존의 "판매순"으로 전환한 것이 아니니 이런 유저들은 결과 계산할 때 제외하고 봐야하는 것인가요?