inflearn logo
강의

Khóa học

Chia sẻ kiến thức

Hướng dẫn đầy đủ dành cho người luyện thi AB Test

샘플 사이즈 문의

Đã giải quyết

143

teohus

6 câu hỏi đã được viết

0

 

안녕하세요,

 

minimum 샘플 사이즈 정하는 부분에서 질문드립니다.

online 플랫폼의 경우 base-metric과 expected-metric에 CVR, CTR 이 적용이 가능한데

offline 매장 같은 경우는 base-metric과 expected-metric이 매출이 될 것 같은데

맞을까요? (프로모션, 캠페인은 아니고, 추가 제품공급 (다각화) 입니다)

 

계산해보면 p=(p1+p2)/2, variance = p(1-p) 공식에 적용해서 계산해보면

매출 5% 상승으로 잡고 정규화해서 1.0 과 1.05으로 할경우

계속 n 값이 마이너스 값이 나오네요.

 

다른 방식으로 적용해야될까요?

문의드립니다.

감사합니다.

 

통계 ab-test

Câu trả lời 1

0

거친코딩

안녕하세요.

질문주신 부분에 대한 답변을 드립니다.

1. 오프라인 매장에서의 Base-metric과 Expected-metric

  • 오프라인 매장에서는 매출이 주요 성과 지표로 사용될 수 있습니다.

  • Base-metric: 기존 매출 (e.g., 현재 일평균 매출)

  • Expected-metric: 매출 변화율 (e.g., 추가 제품 공급으로 인해 예상되는 상승 비율)

다만, 매출은 온라인의 CVR/CTR과 달리 이산형 데이터가 아니라 연속형 데이터로, 정규분포를 따를 가능성이 더 큽니다. 이 경우, CVR/CTR에서 사용하는 비율 기반의 공식은 적합하지 않을 수 있습니다.

 

2. 샘플사이즈 계산 오류의 원인

  • 문의 주신 공식​은 이항 분포 기반 데이터(예: 클릭 여부, 구매 여부)에서 활용됩니다.

  • 매출과 같은 연속형 데이터를 다룰 경우, 평균과 표준편차(variance)를 활용하는 방법으로 전환해야 합니다.

 

3. 연속형 데이터에 적합한 샘플사이즈 공식

연속형 데이터에서는 다음 공식을 사용합니다:

image.png

 

여기서:

  • Zα/2 ​: 유의 수준(예: 95% 신뢰 수준에서는 1.96)

  • Zβ ​: 검정력(예: 80% 검정력에서는 0.84)

  • Δ: 기대하는 평균 차이 (예: 매출 증가율에 따른 차이, 1.05 - 1.00 = 0.05)

  • σ: 데이터의 표준편차 (예: 매출 데이터의 표준편차)

 

4. 샘플사이즈 계산 예시

  1. 기본 가정:

    • 현재 평균 매출: 100

    • 예상 증가율: 5% (즉, 105)

    • 표준편차: 15 (매출 분산에서 도출)

    • 유의 수준: 95%

    • 검정력: 80%

  2.  

    image.png

     

0

teohus

감사합니다. 내용은 잘 이해했습니다.

그렇다면 수업때 했던 이산형 CTR, CVR 평가 시 에는 카테고리 별 구매 전환율, ARPU에 대해서 구하였듯이 이산형의 경우 sample size(일) = 30일이 나왔다고 가정하면

A,B그룹 총 60일의 일별 매출액에 대해서 각각 lift, p-value을 구해서 유의성을 판단해야할까요?

6-7 로그설계하기 연습문제 제출/ 피드백 요청

0

11

2

4-8. 지표 정의 연습 문제

0

27

2

Tracking Plan, Taxonomy 문제풀이

0

52

1

6-7 로그설계하기 실습 제출

0

34

1

6-7 로그설계하기 연습문제 제출/ 피드백 부탁드립니다.!!

0

40

1

R 코드 페이지에 대한 공부 목적..

0

28

1

질문있습니다!

0

56

1

안녕하세요 열심히 수강중인 학생입니다

0

59

2

변수 변환 기출변형 문제 질문

0

88

3

최소 샘플 사이즈

0

79

1

후속모니터링에 대해 질문드립니다.

0

93

1

A/B 테스트 period calculation

0

141

1

결과정리, 해석해주시는 부분에서 질문

0

150

1

최소 샘플 사이즈

0

152

1

여기서 유의수준은 p-value와 동일한가요?

0

390

1

Pdf자료가 어딨죠

0

175

1

최소 샘플 사이즈 관련 문의드립니다.

0

425

1

최소 샘플 사이즈 관련 질문

0

215

1

학습 자료 질문

0

238

1

A/B Test 실험주제 예상지표 선정

0

541

2

가설검정 강의 마지막 부분이 헷갈립니다.

0

592

1

'p-value는 기존 귀무가설이 발생할 확률'이라고 하셨는데요. 이건 잘못된 설명 아닌가요?

0

433

1

MDE의 D는 detectable입니다.

0

419

1

디폴트 정렬 상태로 전환하지 않고 필터 정렬 방법을 바꾼 유저는 제외해야 하나요?

0

377

1