샘플 사이즈 관련 질문

안녕하세요.

데이터사이언티스트 거친코딩입니다.

말씀하신대로 샘플사이즈 계산할때, 연속형이냐, 비율이냐에 따라서,

약간의 샘플사이즈수 계산 방식이 달라집니다.

일단 비율의 경우에는 정확히 샘플 사이즈 수를 계산하는 방식을 산정할 수 있지만,

연속형의 경우에는 실험 설계전에 따로 모표준편차를 구할 방법이 없어서 직접 임의의 값을 넣거나, 표본 표준편차를 기반으로 예상추정치를 계산하여 식에 삽입하게됩니다.

(다만, 표본표준편차를 통한 예상추정치가 가능한한 현실적이고 적절하게 설정되어야합니다.)

전체 현업을 대표해서 말씀드리기는 어려우나,

제가 경험한바로는 Primary Metric을 기준으로 전체적인 실험 최소 샘플사이즈수를 얻고 있습니다.

다만 Monitoring Metric을 중요하게 판단되는 실험의 경우 해당 부분까지 함께 Optional하게 고려해주시면 좋을 것 같습니다.

감사합니다.

거친코딩 드림.