강의

멘토링

커뮤니티

Cộng đồng Hỏi & Đáp của Inflearn

Hình ảnh hồ sơ của teohus
teohus

câu hỏi đã được viết

Hướng dẫn đầy đủ dành cho người luyện thi AB Test

샘플 사이즈 문의

Đã giải quyết

Viết

·

127

·

Đã chỉnh sửa

0

 

안녕하세요,

 

minimum 샘플 사이즈 정하는 부분에서 질문드립니다.

online 플랫폼의 경우 base-metric과 expected-metric에 CVR, CTR 이 적용이 가능한데

offline 매장 같은 경우는 base-metric과 expected-metric이 매출이 될 것 같은데

맞을까요? (프로모션, 캠페인은 아니고, 추가 제품공급 (다각화) 입니다)

 

계산해보면 p=(p1+p2)/2, variance = p(1-p) 공식에 적용해서 계산해보면

매출 5% 상승으로 잡고 정규화해서 1.0 과 1.05으로 할경우

계속 n 값이 마이너스 값이 나오네요.

 

다른 방식으로 적용해야될까요?

문의드립니다.

감사합니다.

 

통계ab-test

Câu trả lời 1

0

거친코딩님의 프로필 이미지
거친코딩
Người chia sẻ kiến thức

안녕하세요.

질문주신 부분에 대한 답변을 드립니다.

1. 오프라인 매장에서의 Base-metric과 Expected-metric

  • 오프라인 매장에서는 매출이 주요 성과 지표로 사용될 수 있습니다.

  • Base-metric: 기존 매출 (e.g., 현재 일평균 매출)

  • Expected-metric: 매출 변화율 (e.g., 추가 제품 공급으로 인해 예상되는 상승 비율)

다만, 매출은 온라인의 CVR/CTR과 달리 이산형 데이터가 아니라 연속형 데이터로, 정규분포를 따를 가능성이 더 큽니다. 이 경우, CVR/CTR에서 사용하는 비율 기반의 공식은 적합하지 않을 수 있습니다.

 

2. 샘플사이즈 계산 오류의 원인

  • 문의 주신 공식​은 이항 분포 기반 데이터(예: 클릭 여부, 구매 여부)에서 활용됩니다.

  • 매출과 같은 연속형 데이터를 다룰 경우, 평균과 표준편차(variance)를 활용하는 방법으로 전환해야 합니다.

 

3. 연속형 데이터에 적합한 샘플사이즈 공식

연속형 데이터에서는 다음 공식을 사용합니다:

image.png

 

여기서:

  • Zα/2 ​: 유의 수준(예: 95% 신뢰 수준에서는 1.96)

  • Zβ ​: 검정력(예: 80% 검정력에서는 0.84)

  • Δ: 기대하는 평균 차이 (예: 매출 증가율에 따른 차이, 1.05 - 1.00 = 0.05)

  • σ: 데이터의 표준편차 (예: 매출 데이터의 표준편차)

 

4. 샘플사이즈 계산 예시

  1. 기본 가정:

    • 현재 평균 매출: 100

    • 예상 증가율: 5% (즉, 105)

    • 표준편차: 15 (매출 분산에서 도출)

    • 유의 수준: 95%

    • 검정력: 80%

  2.  

    image.png

     

teohus님의 프로필 이미지
teohus
Người đặt câu hỏi

감사합니다. 내용은 잘 이해했습니다.

그렇다면 수업때 했던 이산형 CTR, CVR 평가 시 에는 카테고리 별 구매 전환율, ARPU에 대해서 구하였듯이 이산형의 경우 sample size(일) = 30일이 나왔다고 가정하면

A,B그룹 총 60일의 일별 매출액에 대해서 각각 lift, p-value을 구해서 유의성을 판단해야할까요?

Hình ảnh hồ sơ của teohus
teohus

câu hỏi đã được viết

Đặt câu hỏi