인프런 커뮤니티 질문&답변

안녕하세요.

'A가 언제나 B보다 좋다'는 통계학에서 쓰지 않는 문장입니다 ㅎㅎ

통계학에서는 A와 B의 결과 차이가 (95% 신뢰 수준에서) 통계적으로 유의미한가? 와 같은 질문에 대한 답을 계산함으로써 A와 B의 결과를 비교합니다.  (전체 모수를 비교하는 게 아니라, 표본을 추출해서 하는 비교이기 때문에 그렇습니다)

위 케이스에 대한 통계적인 검정 결과는 아래와 같습니다.  전환율이 약간 차이가 있긴 하지만, 오차를 고려했을 때 통계적인 차이가 있다고 보긴 어렵네요.  이 경우 저라면 약간 더 실험을 진행해서 표본의 수를 늘리는 선택을 할 것 같습니다.  그 이후에도 비슷한 정도의 차이라면, A와 B 조건의 의미있는 차이는 없다... 정도가 결론이 되겠네요.

(유의성 검증을 위해서는 제가 강의에서 소개해드린 사이트들이나 아래 URL을 참고하시면 됩니다)

https://ko.surveymonkey.com/mp/ab-testing-significance-calculator/