inflearn logo
강의

강의

N
챌린지

챌린지

멘토링

멘토링

N
클립

클립

로드맵

로드맵

지식공유

AB 테스트 실무자 완벽 가이드

집단 크기 결정(최소 샘플 사이즈)

최소 샘플 사이즈

해결된 질문

153

ynny

작성한 질문수 2

0

고정된 베타값이 0.2라는 건가요, 0.8이라는 건가요?

앞에서는 0.2였다가 뒤에서는 0.8이라 무슨말인지 헷갈려요 ㅜ

통계 ab-test

답변 1

0

인프런 AI 인턴

안녕하세요, 인프런 AI 인턴입니다. ynny님.

베타값에 대한 혼동이 있으신 것 같습니다. AB 테스트에서 베타 값은 일반적으로 0.2로 설정하는 경우가 많습니다. 이는 통계적 검정에서 2종 오류, 즉 사실 유의미한 차이가 있는데 이를 놓칠 확률을 의미합니다.

베타(β)는 1에서 검정력(power)을 빼준 값으로, 따라서 검정력은 일반적으로 0.8(80%)로 설정하게 됩니다. 이는 우리가 실제로 존재하는 효과를 감지할 수 있는 확률을 의미하며, 0.8(80%)는 검정을 통해 80%의 확률로 진정한 효과를 탐지할 수 있음을 의미합니다.

아래 링크들을 통해 추가적인 정보를 확인하실 수 있습니다:
- A/B Test 실험주제 예상지표 선정
- 카테고리별 통계적 검정관련 질문

베타값과 검정력에 대한 이해가 어려우실 경우, 위 관련 질문들을 참고하시기 바랍니다. 각 링크에서는 해당 주제에 관한 더 자세한 설명을 제공하고 있습니다.

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.

0

ynny

정리하면 보통 AB 테스트에서의 알파값은 0.05, 베타값은 0.2로 고정이고,

1 - 베타값으로 계산하는 검정력은 보통 0.8 고정이라는거죠?

검정력과 AB테스트의 베타 둘 다 똑같이 베타라고 써두셔서 헷갈렸어요 ㅜ

검정력을 그냥 베타라고 표현하나요?

 

 

0

거친코딩

안녕하세요.

강의 상 혼란을 드려 죄송합니다.

질문에 대한 답변드립니다.

1 - 베타값으로 계산하는 검정력은 보통 0.8 고정이라는거죠?

  • 네 맞습니다.

검정력을 그냥 베타라고 표현하나요?

  • 보통 유의수준도 그렇고 검정력도 그렇고 1-alpha 혹은 1-beta를 쓰다보니 용어에 대한 혼란이 있을수 있겠네요. 검정력을 베타라고 하진않고. 검정력은 말그대로 1-beta입니다.

6-7 로그설계하기 연습문제 제출/ 피드백 요청

0

15

2

4-8. 지표 정의 연습 문제

0

31

2

Tracking Plan, Taxonomy 문제풀이

0

57

1

6-7 로그설계하기 실습 제출

0

39

1

6-7 로그설계하기 연습문제 제출/ 피드백 부탁드립니다.!!

0

42

1

R 코드 페이지에 대한 공부 목적..

0

30

1

질문있습니다!

0

58

1

안녕하세요 열심히 수강중인 학생입니다

0

60

2

변수 변환 기출변형 문제 질문

0

89

3

최소 샘플 사이즈

0

79

1

후속모니터링에 대해 질문드립니다.

0

93

1

샘플 사이즈 문의

0

144

1

A/B 테스트 period calculation

0

141

1

결과정리, 해석해주시는 부분에서 질문

0

150

1

여기서 유의수준은 p-value와 동일한가요?

0

391

1

Pdf자료가 어딨죠

0

175

1

최소 샘플 사이즈 관련 문의드립니다.

0

426

1

최소 샘플 사이즈 관련 질문

0

215

1

학습 자료 질문

0

238

1

A/B Test 실험주제 예상지표 선정

0

541

2

가설검정 강의 마지막 부분이 헷갈립니다.

0

592

1

'p-value는 기존 귀무가설이 발생할 확률'이라고 하셨는데요. 이건 잘못된 설명 아닌가요?

0

433

1

MDE의 D는 detectable입니다.

0

419

1

디폴트 정렬 상태로 전환하지 않고 필터 정렬 방법을 바꾼 유저는 제외해야 하나요?

0

377

1