인프런 커뮤니티 질문&답변
작성한 질문수
A/B Test에 대해 질문드립니다!
해결된 질문
작성
·
110
0
안녕하세요
질문이 있어 문의 드립니다!
1. 강의 중 Foodie Express 페이지 전환율 계산에서
사용한 ‘수’의 기준이
유저별 고유 방문 수인지,
중복 방문까지 포함한 전체 방문 수인지 궁금합니다.
1-1. 현재 업무에서는 가입 단계 로그를 수집하여
디바이스별 각 가입단계 첫 활동 일시를 기준으로
일 단위 전환율을 계산하고 평균을 확인하고 있습니다.
유저의 첫 활동 이후 행동은 고려하지 않는 방식인데,
이런 산출 방법이 적절한지도 궁금합니다.
2. SAAS 환경에서 단순 클릭 수나 페이지 전환율뿐만 아니라,
유저에게 보여지는 알고리즘 값(추천 점수 등)에 대한 실험도 가능한가요?
2-1. 이런 실험을 위해 Growth Book을 사용하는 것이 적합한지 궁금합니다.
3. 강의 중 Growth Book 관련 참고자료를 언급해 주셨는데,
위치를 못 찾겠습니다!
4. PM으로서 활용할 만한 레퍼런스 자료는
디스코드 ‘추천자료’ 채널에 있는 것이 맞나요?
답변 1
0
종삼님 안녕하세요! 열심히 학습하시다가 질문 남겨주셔서 감사합니다
1번. 사용한 수라고 하면 보통 Unique가 아닌 Total, 중복까지 포함한 방문수를 의미하는 경우가 많습니다. 만약 유저라고 했으면 유저 수라고 했을 거예요. 풀려는 목적에 따라서 유저 수, 전체 수 등을 활용하면 됩니다. 페이지 전환율 계산할 때는 전체 수를 이용해서 구했다고 보시면 될 것 같아요. 토탈을 사용하면 값이 변할 수 있어서 Unique로 보는 것도 가능합니다
1-1. 첫 활동만 고려하는 목적이 있나요? 이런 경우엔 전체 전환의 성과나 사용자 행동 패턴을 이해할 때는 누락되는 부분이 있을 것 같아요. 저는 보통 특정 필터링을 걸지 않은 지표를 먼저 보고(더 거시적 관점) 그 후에 첫 활동만 보는 것으로 나눠서 봅니다. 말씀해주신 내용 중에 일 단위 전환율의 정의가 무엇인지가 구체적이지 않아서 이 부분은 말씀해주시면 좋을 것 같네요(일 단위 구매 전환율을 의미하는지 등)
2번.
이 내용에서 앞에서는 단순 클릭 수나 페이지 전환율에 대한 것은 지표에 대한 이야기가 맞을까요? 뒤에는 어떤 것을 실험할 것인지 내용 같아서요(알고리즘 이야기인 것 같구요)
AB Test라는 것은 기본적으로 A랑 B를 나눠주는데 서버와 이야기를 해서 이 유저는 A, B다 라고 하는거라 이론적으로 알고리즘도 테스트를 할 수 있긴 합니다. 실제로 머신러닝 알고리즘이나 AI 알고리즘 AB Test는 많이 하고 있습니다. ChatGPT도 사용하다보면 2개가 나와서 뭐가 좋은가요? 물어보는 경우가 있는데 이것도 AB Test 케이스라고 볼 수 있어요.
2-1번.
저는 그로스북으로 UX 관점의 실험만 해봐서 AI 알고리즘 관점으로는 적절한가 고민이 필요할 것 같긴 합니다. 이론적으로는 가능하나, 케이스를 본 적은 없네요. 알고리즘 테스트를 할 정도라면 자체 구축을 고려하는 경우가 조금 더 많았습니다
아래 링크를 보시면 아키텍쳐 관점으로 도움이 될 수 있을 것 같아요. 컨셉만 이해해보셔요. 결국 AB Test란 컨셉은 동일해요
https://mercari.github.io/ml-system-design-pattern/QA-patterns/Online-ab-test-pattern/design_ko.html
3번. 그로스북 관련해서는 공식 문서 추천을 했고, 그 외에 실험 관련 글은 data-for-pm 보시면 있어요.
https://zzsza.github.io/data-for-pm/experiment/references.html
4번
PM으로 활용할 레퍼런스 자료라고 한 적은 없고 강의를 들으신 분들이 참고할 수 있는 자료 중에 제가 좋다고 생각하는 것들을 공유드리곤 합니다.
궁금하신 것이 있다면 또 남겨주셔요!
1번. 가입 단계에서 PASS 완료에 대한 고민을 하고 계셨군요..!
작성해주신 내용을 보고 떠오른 것은(서비스가 무엇인지 모르고 맥락을 몰라서 이렇게 생각하는 경우도 있구나 생각해주시면 됩니다)
보통 가입 단계는 가입하지 않은 사람들이 진입하지 않나?
PASS 인증도 가입한 사람들이 더 하지 않나? 계정 찾기는 다른 페이지로 빠질 것 같은데
첫 활동으로 기준으로 한다는 것이 명확하게 이해가 안되어서 조금 더 부연 설명이 필요할 것 같은데 회사 내부에 계신 분들도 비슷하지 않을까? (어림잡아 생각하면 그 유저가 처음으로 가입 단계에 진입할 때의 이벤트를 사용한다 같은데 만약 그 유저가 가입 단계가 아닌 다른 이벤트를 발생시키면 제외시키나? 라는 생각이 들었어요)
1명이 다수 가입을 할 수 있나? PASS를 사용하는 것이 중복 여부를 체크하는 로직이 있을 것 같은데(이건 도메인이 달라도 PASS를 쓰는 이유가 명확하기에)
가입 단계 페이지에 진입한 사람들 중 PASS 인증을 완료하는 비율을 그냥 올리면 되지 않을까?(이 지표가 더 이해하기 쉽다고 생각해서)
만약 중복해서 PASS 인증을 시도한다면 앞단에 신규 고객이 아닌 사람들은 다른 페이지로 이동시키거나 인지를 시켜주면 되지 않을까? 또는 신규 유저의 PASS 전환율, 기존 유저의 PASS 전환율을 보면 되지 않을까?
과대평가가 우려되었다고 했지만, 이 선택이 오히려 지표를 의도적으로 높게 만든 것이 아닐까? 선택 편향(selection bias), 지표 피킹 현상
이런 생각이 드네요. 제가 회사에서 업무를 진행한 것이 아니라 옳다 그르다는 판단하지 못할 것 같아요. 이런 관점의 질문이 오면 어떻게 답변하실지 스스로 생각해보시면 어떨까 싶어요.
2번. 일반적으로 AB Test가 제일 확실해서 많은 경우 AB Test를 합니다. 만약 이게 아니라면 여러가지 방법으로 '추정'할 수는 있습니다.
예를 들어 DAU나 WAU 추이를 보조적으로 활용해서 값을 정규화해보는 것도 가능하고 광고 집행비나 광고에서 노출이나 전환도 참고해서 볼 수는 있습니다.
또한 최대한 시즈널리티가 덜한 시기(연휴가 없는)에 배포를 해서 전후비교를 하는 것도 방법인데 이건 개발쪽에서 결정할 일이라 크게 관여하긴 어려울 수 있죠. 매번 배포 주기를 맞추자고 제안하는 것도 좋을 수 있구요.
실험 설계 없이 전후 비교에서 p value 구해서 통계적 유의성을 구하는 것은 크게 의미가 없지 않나 싶네요. p value라는 것이 두 그룹 간 차이가 우연히 발생했을 확률을 의미하고, 외부 변수가 영향을 미쳤으면 p value가 다를 수 있고, 통계적 검정의 기본 가정은 독립성과 동일한 조건인데 이 조건을 위반합니다. 그래서 저는 위에 말씀드린 것처럼 기준을 잡고 일종의 정규화하는 것을 쓰곤 합니다. 이게 설명할 땐 더 편했습니다. 다만 이 방법도 인과를 알긴 어렵긴 합니다
인과추론이란 학문에서 나오는 내용을 참고하면 전후 비교의 성과 측정에도 도움이 될 수 있는데, 인과추론이란 분야가 수학적으로 어려운 부분이 있어서 처음 시작할 때는 추천하진 않습니다. 바로 할 수 있는 것은 DiD(이중 차분법) 정도가 떠오르는데, 이게 위에서 말씀드린 광고 노출이나 WAU 등을 활용해서 비교하는 것과 유사한 관점입니다.
좋은 강의와 상세한 답변에 감사드립니다.
말씀해주신 1-1에 대해 구체적인 배경상황과
추가 질문 드립니다..!
배경 상황
가입단계 (PASS인증시작 → PASS인증완료)의 낮은 전환율을 개선하여 가입수를 늘리고자 합니다.
각 단계 트리거는 아래와 같이 체크하고 있습니다.
인증 시작: 인증 시작 버튼 클릭 수
인증 완료: 개발팀에서 별도 이벤트로 체크 = 인증 완료 수
인증화면에서는 인증시작 클릭 전 ‘신규유저 혜택’을 강조하는 안내를 출력 중입니다.
이에 중복가입 유저는 혜택과 관련이 없고, 1명이 다수 가입 반복시
전환율에 과대평가가 우려되어 ‘첫 활동(고유값)’을 기준으로 전환율을 산출하고
메인 지표로 활용했습니다… / 잘못된 방법일까요?
(실제 데이터를 체크해보면 첫 활동 전환율은 약 80%, , 전체수 전환율은 약 50%로 나오긴 합니다..)
실무에서는 카일스토리에 나왔던것처럼.. 적용 전·후 비교로 성과판단으로 주로 오더를 받는데,
외부 요인(다른 프로젝트, 광고비 등)영향 때문에 분석이 어려운 경우가 많습니다.
이런 상황에서 A/B 테스트를 진행하는 것이 불확실성을 해소하는 유일한 방법인지,
아니면 적용 전·후 비교만으로도 충분한 성과확인을 할 수 있는 방법이 있을까요?
(현재는 일별 전환율을 적용 전, 후로 체크하여 평균 전환율을 비교하거나,
일 평균 가입수를 적용 전, 후로 비교하거나,
누적값으로 p-value를 활용해 평균값(비율) 차이에 대한 가설검정으로 통계적 유의성을 확인하는 방식을 사용했습니다.)