-
질문 & 답변
카테고리
-
세부 분야
기획 · 전략 · PM
-
해결 여부
해결됨
10-6 강의 중 A/B 테스트에 대한 질문 드립니다.
23.05.09 14:40 작성 조회수 340
1
A/B Test 는 가설검정이 중요하다고 생각합니다.
강의 내용에서는 간략히 설명된다 하더라도 본래의 통계 기법
(예를 들어 모수의 표준편차를 알고 / 모름에 따른 Z분포 / T분포를 사용한다던가, 혹은 평균이 차이를 검증하는지, 표준편차의 차이를 확인하는지에 따라 Z분포 / F 분포 를 사용한다던가)
을 따라야 한다고 생각합니다.
그런데 강의 내용 중 나오는 A/B Testguide 에서는 그러한 입력이나 설정(평균 및 표준편차 기입)이 없이 바로 결과가 나오는 것 같아서요.
이러한 A/B test가 실제 옳은것인지 궁금합니다.
답변을 작성해보세요.
1
카일스쿨
지식공유자2023.05.10
안녕하세요! AB Test 관련 질문주셨네요!
AB Testguide의 내부에서 어떻게 동작하는지 말씀드릴게요! 입력한 값을 토대로 Z Score를 구한 후, 확률을 구합니다. 그 후에 P Value를 계산합니다. 이런 방식도 현업에서 많이 사용하는 방식 중 하나입니다.
관련해서 추천 자료도 공유드리면
https://blog.hackle.io/post/conquering-abtest-3 : 핵클에서 작성한 실험의 모수, 실험 기간에 대한 글
https://towardsdatascience.com/the-art-of-a-b-testing-5a10c9bb70a4 : AB Test 관련 자세한 수식을 담은 글
https://medium.com/myrealtrip-product/bigquery-udf-%ED%99%9C%EC%9A%A9%ED%95%98%EA%B8%B0-eb683d927e8f : 실험 관련 UDF를 정의하고, 구현 결과와 AB Testguide가 동일하다고 확인한 글
회사에서 실험을 진행할 때에 만약 실험 SaaS를 사용한다면 통계 검정에 맞는 데이터를 확인하는 기능이 보통 내장되어 있습니다. 그래서 사용자가 통계에 대한 것을 신경쓰는 것보다 "실험" 자체를 진행하는데 도움을 주는 것에 초점을 맞추는 편입니다.
실험을 왜 진행하느냐?라고 생각하면 결국 우리 서비스 성장 과정의 인과 관계를 밝히기 위해 진행합니다. 실험은 가설을 만들고, 가설 기반으로 실험을 진행하고, 검정한 후 배움 포인트를 만들고(=회고) 그 배움을 다시 제품에 녹이는 과정입니다.
현업에서 경험한 내용을 토대로 말씀드리면 "실험을 해야한다"고 주장을 해도 바로 여러 상황(예를 들어 리소스의 부족으로 인해 AB Test를 위한 개발이 어려운 상황, 어떤 흐름으로 일을 해야할지에 대한 경험 부재, 실험을 하기 위해 통계 공부하려니 수학이 어려워서 포기하게 된다)으로 느리게 반영되는 경우가 있습니다. 일단 실험이 왜 필요한데?라고 물어보는 경우도 있고 실험이 좋다는 것은 들었는데 진짜 지금 해야해? 등이 있습니다. 실험의 중요성을 인지하지 않는 경우가 많지요
그래서 제일 중요한 것은 실험의 중요성을 깨닫게 하고, 실험을 하나씩 하는 것이 중요합니다. 그러다가 실험을 많이 진행한 후 말씀하신 방법 등을 적용해 통계 검정을 더 강화하곤 합니다. 다만 통계 검정에서 Robust함이 나오는 것과 별개로 실험에서 얻는 배움이 존재할 수 있습니다. 통계에 너무 몰입되지 않아도 괜찮다는 의미입니다(아예 보지 말자는 관점은 아닙니다). 실험 SaaS는 별도 통계 테스트를 하지 않아도 유의미한 차이를 감지할 수 있는 방법으로 결과를 내려고 하는 경우도 있습니다.
말씀해주신 통계 검정 방법은 AB Test 결과를 해석할 때 도움을 줄 수 있는 방법이지만 어떤 문제를 푸느냐, 어떤 데이터냐에 따라 달라집니다. 강의에서 다룬 내용은 AB Test를 하기 위한 최소 정보를 담았고, PM 직무 관점에서 쉽게 실험에 접근할 수 있는 방법으로 진행했습니다. 추후에 데이터 분석가 관점으로 조금 더 통계에 강화된 내용을 담은 강의도 준비할 예정인데 사전적으로 최소 스펙으로 공유해주셨다고 보시면 좋을 것 같아요! (혹시 데이터 분석가 직무시라면 A/B 테스트라는 책을 읽어보시는 것을 추천드리고 싶어요-!)
추가적으로 하나 더 알면 좋은 지식은 MDE라는 개념입니다. 이 부분 관련해서 잘 정리된 글도 공유드릴게요
좋은 질문해주셔서 감사합니다! 혹시 보시고 피드백 주실 내용이 있으시거나 더 궁금한 내용 있으시면 말씀해주세요!
헬로월드
2023.05.14
안녕하세요.
(정규성 검정과 관련하여...) 통계에 너무 몰입되지 않아도 괜찮다는 말씀의 근거로 "이런 상황에 AB Test를 하고자 하는데 이 분포가 정규성이 아니라 확인할 수 없다고 해야할까요? 비즈니스 의사 결정권자 관점에선 정규성이 만족되지 않아도 얻는 결과가 있길 기대할거에요." 라는 답변을 주셨는데요!
현업에서는 이런 이유 때문이 아니라, 애초에 n이 충분히 커서 중심극한정리에 의해 정규성을 만족하는 것으로 생각할 수 있기 때문 아닌가요? (아니면 단지 엄밀한 정규성이 아니어도 (중심극한정리 등에 의해) 된다! 는 취지의 말씀이셨을까요?)
카일스쿨
지식공유자2023.05.14
헬로월드님 안녕하세요! 답글 남겨주셔서 감사합니다!
괄호로 말씀해주신 엄밀한 정규성이 아니어도 괜찮다라는 말을 하고 싶었는데 예시를 들다보니 헷갈릴 수도 있겠네요..! 여러가지 이유로 통계에 대해 엄밀하게 접근하지 않아도 괜찮다가 핵심 메세지였어요.
헷갈릴 수 있는 부분은 제외하는게 더 좋을 수 있을 것 같아 제외해볼게요-!
말씀해주셔서 감사합니다!
0
충실한 날치
2023.07.18
강사님 안녕하세요, 7:42를 보다가 궁금해져서 여쭙습니다. 현재 아주 초기 단계의 프로덕트를 구상 중이라 직관 기반 선택 위주로 기획을 하고 있는데, 조금이라도 데이터를 활용해서 너무 직관 기반이 되지 않도록 기획을 할 수 있는 방법은 없을까 고민이 됩니다.
초기 단계 프로덕트에는 어떤 데이터를 활용할 수 있을까요? 아님 미리 정하면 좋을 데이터 지표가 있을까요?
카일스쿨
지식공유자2023.08.09
안녕하세요! 앗 다른 분의 질문에 남겨주셔서 늦게 봤네요..!
초반이라고 하시면 일단 사용자 유입쪽을 보시면 어떨까 싶어요. 사용자가 얼마나 들어오는지 그리고 접속하신 분이 주기적으로 앱을 다시 사용하는지(리텐션)을 짧은 간격으로 볼 것 같아요. 만약 리텐션이 길어야 하는 서비스라고 하면 주차별로 사용하는 비율이라도 볼 것 같네요
그리고 제품이 해결하려고 하는 문제를 경험한 사람의 수도 트래킹할 것 같아요 :)
답변 2