A/B Test 모수 설정

인프런 커뮤니티 질문&답변

작성한 질문수

그로스해킹 - 데이터와 실험을 통해 성장하는 서비스를 만드는 방법

[6-3] A/B 테스트

작성

769

안녕하세요! 추천해주신 아래 사이트에서 실험에 필요한 샘플 사이즈를 계산 중인데 궁금한 점이 있어서 질문드립니다.

측정하고자 하는 지표가 이렇게 있다고 한다면

1. 앱 설치율(설치수/클릭수)

2. 앱 설치한 사람 중 구매한 사람의 비율(구매수/설치수)

필요한 샘플의 수는 분수의 '모자'에 해당되는 값일지 아니면 클릭수 이전의 웹 사이트에서 방문한 사람의 수으로 봐야 하는 것일지 궁금합니다.

*참고로 웹에서 앱을 다운받게 하는 효과적인 배너를 테스트 중이며, 그래서 클릭수 이전의 웹사이트 방문자수가 얼마인지 알 수 있는 상태입니다.

감사합니다.

답변 1

지식공유자

안녕하세요. Sumin Yeom 님

통제 조건(Baseline)과 실험 조건에서 앱 설치율이 달라지는지를 보려고 하고,

통제 조건에서의 앱 설치율이 10%인데, minimum detectable effect를 5% 로 한다고 가정하면 (설치율이 15%)

아래와 같이 vatiation당 599명이 나옵니다. 양쪽 조건에서의 클릭수가 각각 이만큼은 되어야 한다는 의미입니다.

(비율에서 분모에 해당하는 값)

작성한 질문수