안녕하세요! 샘플사이즈 관련 질문 드립니다

Question

안녕하세요 승화님!

강의듣고 그로스해킹 전반에 이해를 하고 흥미를 가질 수 있었어요 감사합니다 :-)

A/B test의 샘플 사이즈 정하는 부분에서 궁금증이 있는데요,

원하는 조건을 대입해서 n이라는 샘플 사이즈가 구해졌을 때 각 집단별로 n이상의 샘플 사이즈면 두 집단의 비율이 크게 달라도 문제가 되지 않을까요??

샘플 수가 n보다 훨씬 큰 경우에 문제가 되지 않을지 궁금합니다!

감사합니다

Answer

안녕하세요, 김나영님.

집단별로 필요한 최소한의 수치를 넘긴다면, 집단 간의 비율 차이는 크게 상관이 없습니다.

(이때문에 99%의 트래픽은 기존 화면을 보여주고, 1%의 트래픽은 새로운 화면을 보여주는 식의 테스트가 가능합니다. ^^ 실제로 페이스북 등 트래픽이 엄청나게 많은 서비스들은 이런 식으로 테스트를 진행하는 걸로 알고 있습니다.)