데이터 비교 방법 2) A/B테스트 내용 중 AB 기준을 과거 데이터에도 적용에 대한 질문
안녕하세요!
데이터 비교 방법 2) A/B테스트 내용 중 AB 기준을 과거 데이터에도 적용해서 자연적 차이가 있는지 확인한다는 내용이 완벽히 이해가되지 않아 질문드립니다.
배포일 이전에 A,B 집단 각각이 어떤 경향을 보이는지 확인해서 실제 배포이후 결과와 더욱 정확히 보기 위함일까요~?
답변 1
1
하은님 안녕하세요! :)
AB Test 관련 내용을 질문주셨네요! 좋은 질문 감사합니다!
상황을 가정해서 설명드리면 좋을 것 같아 가정해볼게요
2023년 5월 17일에 기존 안을 개선한 화면이 생기고, 그 날부터 AB Test를 할 예정이에요(오늘은 23년 5월 3일이에요)
이 때 17일부터 Test를 시작해도 되지만, 그 전에 AB의 기준을 나눠서 미리 확인해볼 수 있습니다
쉬운 이해를 위해 A군은 user_id가 홀수인 경우, B군은 user_id가 짝수인 경우로 생각해볼게요
5월 3일 ~ 5월 16일까지 AB를 나눠서 실험을 진행합니다. 단, 아직 새로운 화면을 배포하지 않아 AB가 보이는 화면은 동일합니다
만약 이 A와 B의 실험 지표에 대해 유의미한 차이가 보이면 어떻게 해야할까요?(둘 다 같은 화면인데도!)
그럼 A와 B를 잘못 섞었을 경우가 존재하지요. 아무것도 안했는데 자연적으로 지표의 차이가 보이니깐요
보통 이런 과정에선 둘 사이의 차이가 없어야 좋습니다
그럴 경우 실험을 바로 진행하면 안되고, A와 B를 다른 방식으로 바꾸거나 혹은 실험을 하더라도 A와 B의 자연적 차이가 몇%p가 있다는 것을 염두하고 데이터를 바라보는 것입니다
이 과정을 AA Test라고 부릅니다!
말씀하신 것처럼 AB Test의 결과를 더 잘 분석하기 위해 선행하는 작업이라고 생각해주시면 좋을 것 같아요 :)
다만 AA Test를 하기 위해 리소스(A와 B를 나눠야 하므로)가 사용되므로 리소스의 제약으로 하지 못하는 경우도 있을거에요-!
더 자세한 내용이 궁금하시면 AA Test로 검색하시는 것도 가능하고 아래 글들을 참고해주시면 좋을 것 같아요
https://www.optimizely.com/optimization-glossary/aa-testing/
https://splitmetrics.com/blog/guide-to-a-a-testing/
도움이 되셨을까요? 또 궁금한 내용이 있으시면 언제든 말씀해주세요 :)
6-7 로그설계하기 연습문제 제출/ 피드백 요청
0
22
2
4-8. 지표 정의 연습 문제
0
41
2
Tracking Plan, Taxonomy 문제풀이
0
67
1
6-7 로그설계하기 실습 제출
0
47
1
6-7 로그설계하기 연습문제 제출/ 피드백 부탁드립니다.!!
0
45
1
4-8 지표정의 연습문제
0
45
3
질문있습니다!
0
59
1
4-8 지표 정의하기 연습 문제 풀이
0
95
1
4-8 지표 정의하기 연습 문제 풀이!
0
81
2
4-8. 지표 정의 연습 문제 1번과 2번 피드백을 여쭐 수 있을까요?
0
89
2
강의 수강 목적입니다!
0
51
2
6-7. 데이터 로그설계 연습 문제 제출합니다!
0
92
3
4-8. 지표 정의 연습 문제 피드백 부탁드립니다!
0
125
3
이미 배포가 확정된 기능에 대한 ABT 진행에 대한 문의
0
89
3
4-8 지표 정의 풀이 피드백 부탁드립니다🙇♂
1
97
3
강의 목적입니다.
0
75
2
6-4 데이터 로그 설계 프로세스 강의 관련 질문
0
64
1
4-8 지표정의 문제 풀이 입니다
0
127
2
데이터 취합과 정리 어디서부터 해야할까요
0
97
2
3장 강의자료 다운로드 시, 2강이 다운로드 됩니다.
0
69
2
데이터 로그 설계 과제 작성
0
107
2
코칭 관련
0
78
2
슈퍼셋 사용이 처음이라 질문드립니다.
0
109
1
지표정의 4-8 문제풀이 입니다.
0
132
1