• 카테고리

    질문 & 답변
  • 세부 분야

    마케팅

  • 해결 여부

    미해결

A/B Test 모수 설정

20.03.24 07:50 작성 조회수 598

0

안녕하세요! 추천해주신 아래 사이트에서 실험에 필요한 샘플 사이즈를 계산 중인데 궁금한 점이 있어서 질문드립니다.

https://www.evanmiller.org/ab-testing/sample-size.html

측정하고자 하는  지표가 이렇게 있다고 한다면

1. 앱 설치율(설치수/클릭수)

2. 앱 설치한 사람 중 구매한 사람의 비율(구매수/설치수) 

필요한 샘플의 수는 분수의 '모자'에 해당되는 값일지 아니면 클릭수 이전의 웹 사이트에서 방문한 사람의 수으로 봐야 하는 것일지 궁금합니다.

*참고로 웹에서 앱을 다운받게 하는 효과적인 배너를 테스트 중이며, 그래서 클릭수 이전의 웹사이트 방문자수가 얼마인지 알 수 있는 상태입니다. 

감사합니다.

답변 1

답변을 작성해보세요.

0

안녕하세요.  Sumin Yeom 님

통제 조건(Baseline)과 실험 조건에서 앱 설치율이 달라지는지를 보려고 하고,

통제 조건에서의 앱 설치율이 10%인데, minimum detectable effect를 5% 로 한다고 가정하면 (설치율이 15%)

아래와 같이 vatiation당 599명이 나옵니다.  양쪽 조건에서의 클릭수가 각각 이만큼은 되어야 한다는 의미입니다.

(비율에서 분모에 해당하는 값)