인프런 커뮤니티 질문&답변

안녕하세요 카테고리별 통계적 검증 관련해서 질문 있습니다.

최초 실험 설계시 유의 수준과 검정력, 베이스 수준에 따른 리프트 수준을 고려하여 통계적 검증을 위한 최초 샘플 사이즈를 계산합니다.

그러나 동일한 모수에 대해 카테고리별 구매 전환율을 검정하는 경우와 달리, OS별 구매 전환율은 검정 수행시 각 실험 그룹의 모수가 절반 수준으로 줄어들게 되는데, 강의에서는 이 상태로 통계적 검정을 진행하고 있습니다.

검정 결과는 공식에 따라 계산 될 수 있겠지만 샘플사이즈가 줄어들면서 사전에 고려했던 베타 오류수준을 만족하지 못하게 될텐데요, 이 상태에서 나온 검정 결과도 현업에서 전체 그룹에 대한 검정 결과와 동일한 수준의 검정 결과로 판단하고 있는지 궁금합니다.

물론 현실적으로 각 세그먼트별 샘플사이즈 까지 최소 샘플 사이즈를 맞추려면 비용이 과다하게 들어서, 세그먼트 분할에 따라 모수가 줄어들 경우에는 검정 결과를 참고용 정도로만 활용할 수 있을것 같은데 현업에서는 이와 관련해서 어떤 기준을 갖고 계신지질문 드립니다.