디폴트 정렬 상태로 전환하지 않고 필터 정렬 방법을 바꾼 유저는 제외해야 하나요?

Question

안녕하세요. A: 판매순 B: 배달비 낮은순 C: 별점 높은순 D: 배달 빠른순 이렇게 필터 디폴트 값을 각각 4개의 그룹으로 나누어 보여준 뒤 각 그룹에 속하는 유저들의 output metric(ARPU, 전환율 등)을 비교하는 것으로 보이는데요. 만약 A 그룹의 유저가 스스로 필터를 바꿔서 "별점 높은순"을 선택한 뒤 결제하거나 전환했다면, 기존의 "판매순"으로 전환한 것이 아니니 이런 유저들은 결과 계산할 때 제외하고 봐야하는 것인가요?

거친코딩 · Answer

안녕하세요. 귀중한 질문 남겨주셔서 감사합니다. 만약 실험설계를 할 때 질문자님께서 말씀해주신 부분에 대해 고려가 필요하다면 제외를 하는 선택을 해볼 수 있겠지만, 해당 실험은 디폴트 정렬필터의 초반 감도를 통해서 고객의 간접적인 행동변화를 체크하는 것입니다. 만약 말씀하신대로 기존 필터가 아니라, 변경된 필터를 통해서 구매하는 메트릭에 대한 추가적인 분석을 원하신다면 모니터링 지표로써 구매전환(=필터변경을 통한 구매)을 보시는 방안도 고려해볼 수 있을듯합니다 뾰족한 인사이트가 될 수 있는 부분을 짚어주셔서 감사합니다.   거친코딩 드림.