A/B Test 모수 설정

Question

안녕하세요! 추천해주신 아래 사이트에서 실험에 필요한 샘플 사이즈를 계산 중인데 궁금한 점이 있어서 질문드립니다. https://www.evanmiller.org/ab-testing/sample-size.html 측정하고자 하는  지표가 이렇게 있다고 한다면 1. 앱 설치율(설치수/클릭수) 2. 앱 설치한 사람 중 구매한 사람의 비율(구매수/설치수)  필요한 샘플의 수는 분수의 '모자' 에 해당되는 값일지 아니면 클릭수 이전의 웹 사이트에서 방문한 사람의 수 으로 봐야 하는 것일지 궁금합니다. *참고로 웹에서 앱을 다운받게 하는 효과적인 배너를 테스트 중이며, 그래서 클릭수 이전의 웹사이트 방문자수가 얼마인지 알 수 있는 상태입니다.  감사합니다.

양승화 · Answer

안녕하세요.   Sumin Yeom 님 통제 조건(Baseline)과 실험 조건에서 앱 설치율이 달라지는지를 보려고 하고, 통제 조건에서의 앱 설치율이 10%인데, minimum detectable effect를 5% 로 한다고 가정하면 (설치율이 15%) 아래와 같이 vatiation당 599명이 나옵니다.  양쪽 조건에서의 클릭수 가 각각 이만큼은 되어야 한다는 의미입니다. (비율에서 분모에 해당하는 값)