디폴트 정렬 상태로 전환하지 않고 필터 정렬 방법을 바꾼 유저는 제외해야 하나요?

Question

안녕하세요.A: 판매순B: 배달비 낮은순C: 별점 높은순D: 배달 빠른순이렇게 필터 디폴트 값을 각각 4개의 그룹으로 나누어 보여준 뒤 각 그룹에 속하는 유저들의 output metric(ARPU, 전환율 등)을 비교하는 것으로 보이는데요.만약 A 그룹의 유저가 스스로 필터를 바꿔서 '별점 높은순'을 선택한 뒤 결제하거나 전환했다면, 기존의 '판매순'으로 전환한 것이 아니니 이런 유저들은 결과 계산할 때 제외하고 봐야하는 것인가요?

Answer

안녕하세요.귀중한 질문 남겨주셔서 감사합니다.만약 실험설계를 할 때 질문자님께서 말씀해주신 부분에 대해 고려가 필요하다면 제외를 하는 선택을 해볼 수 있겠지만,해당 실험은 디폴트 정렬필터의 초반 감도를 통해서 고객의 간접적인 행동변화를 체크하는 것입니다.만약 말씀하신대로 기존 필터가 아니라,변경된 필터를 통해서 구매하는 메트릭에 대한 추가적인 분석을 원하신다면 모니터링 지표로써 구매전환(=필터변경을 통한 구매)을 보시는 방안도 고려해볼 수 있을듯합니다뾰족한 인사이트가 될 수 있는 부분을짚어주셔서 감사합니다.거친코딩 드림.

헬로월드

디폴트 정렬 상태로 전환하지 않고 필터 정렬 방법을 바꾼 유저는 제외해야 하나요?

이 글과 비슷한 Q&A

문제풀어봤어요

PCA 강의 질문 관련 문의

베이지안 최적화 search space

5.6 실습코드 오류질문