인프런 커뮤니티 질문&답변

종삼님 안녕하세요! 문제 푸시느라 고생하셨습니다!

하나씩 의견을 드려볼게요

1. 기능이 잘 동작하고 있는지 확인하려면?

1번에서 어떤 항목에 대해서 구할지를 작성해주셨는데, 지표를 명확하게 작성해주시는 것이 좋습니다. 예를 들어 배너의 클릭율(CTR) 이렇게 표시하고 분자와 분모를 명시하는 방식입니다.

현재 작성해주신 배너 : 전달 내용 대비 유저 참여수/출력수로 실제 참여유도 효과 측정인데 여기서 "전달"이 무엇인지(배너가 노출되는 것을 의미하는지?), 참여수는 무엇인지? 출력수는 무엇인지?(출력이 노출인 것 같기도 한데 전달과 차이는 무엇인지) , 참여 유도 효과라는 것은 어떻게 측정하는지가 정의가 되어야 합니다. 이를 위해 제가 강의에서 말씀드린 지표들을 먼저 활용해서 이름을 붙여주는 것을 추천합니다. 많이 활용되기 때문에 일반적으로 알 가능성이 있거든요. 이런 지표들이 아니라면 각각에 정의를 해줘야 합니다.

히트맵의 경우 5% 미만 클릭 영역이라고 했는데 이것도 고민할 부분이 있습니다. 히트맵의 클릭 비율을 의미하신 것 같은데, 5% 미만인 부분이 UI 관점에서 나올 수 밖에 없는 영역이 있습니다. 예를 들어 누를 수 없는 영역은 히트맵에서 클릭이 안된다고 나오겠죠. 그렇기 때문에 5% 미만 클릭 영역 = 사실 클릭할 컴포넌트가 없는 영역일 수 있습니다.

또한 지표를 정의할 때, 이 지표로 어떤 Action을 할 수 있는가?가 명확할수록 좋은 지표입니다(Actionable한가) 히트맵에서 UI 사각지대 발견하면 => 뭘 할 수 있을까?가 나오는지 생각해보시면 좋을 것 같아요. 위에서 말한 것처럼 클릭할 컴포넌트가 없어서 컴포넌트를 추가한다고 하면 이상해질 수 있겠죠(컴포넌트를 배치하지 않은 이유가 있을테니)

카테고리나 추천 영역도 비슷합니다. 구체적으로 정의를 해보시면 좋을 것 같아요. 추천의 실질적 비즈니스 기여도 측정이라고 하면 더 구체적으로 명시해야 합니다. 추천을 통한 구매 금액의 합처럼 구체적인 단어를 써야 합니다. 추상적인 것은 지표화까지 가지 않을 것일 가능성이 높아요.
N분 이내 기준 설정을 왜 했는가?에 대해 질문이 들어오면 그걸 명확하게 이야기를 할 수 있어야 하는데, N분 기준이 어렵다면 처음엔 N분 기준을 없이 하는 것이 좋을 수 있습니다

2번. 검색 만족도 지표

1번과 동일한 내용이 반복되어서 1번을 보시고 2번을 다시 고민해봐도 좋을 것 같아요.
검색 퍼널을 이야기해주셨는데, 검색 퍼널이라는 것은 검색하는 과정을 보겠다는 의미이고, 지표를 정의해야 합니다. 실제 주문까지의 주문 전환율을 의미한다면 주문 전환율(CVR) = 검색을 통해 주문한 수 / 검색을 진행한 수. 이렇게 정의를 하는 것이 필요합니다.

검색 정확도에서 N개 결과 클릭률을 통한 검색 품질 평가라고 해주셨는데, 지표가 어떻게 나오면 좋은 품질인가요? 이 부분도 고민해보시면 좋은데, 검색이나 추천은 알고리즘 영역이라 이미 사용하는 지표가 정해져 있습니다. 이런 것들은 한번 찾아보면 되겠구나! 라고 느끼시면 좋을 것 같아요. 무신사의 글을 참고해보시면 이해가 되실 것 같아요
https://medium.com/musinsa-tech/map-416b5f143943

3번. 검색필터 기능의 활성화 지표

작성해주신 내용을 보니까 한 문장에 많은 것을 넣어서 명확하게 나뉜 것 같지 않을 수 있겠다란 생각이 드네요
검색 퍼널 정의 : 검색단어 입력 → 검색실행 → 필터 사용 → 결과값 클릭 → 실제 주문
검색 퍼널의 지표 : 주문 전환율(CVR) = 분자/분모

이렇게 나눠서 표시를 하시면 다른 사람들도 이해하기 좋을 것 같아요.
이 문제를 출제한 의도는 꼭 주문까지 가지 않더라고, 필터 기능의 본질적인 것을 생각해보시고 지표를 도출하는 것을 연습하기 위함이였습니다. 필터가 잘 사용되고 있다고 하는 것은 주문까지 가지 않아도 생각할 수 있는데, 어떤 것을 봐야 할까요?

4. 배달 서비스에서 가장 중요한 지표는?

리텐션이라는 지표는 어떤 서비스에서도 다 중요하다고 말할 수 있는 지표입니다. 문제에서 "배달"이라는 것으로 한정한 이유는 배달 비즈니스 모델을 고려한 Input 지표를 생각해보시길 바라는 마음에 낸 문제입니다. 리텐션은 Output 지표구요.
배달 서비스의 Input은 무엇일까요? 배달 서비스를 사용하는 유저들은 본질적으로 왜 사용하나요? 이 부분을 고려해서 지표를 다시 생각해보셔요

5. 추천 알고리즘의 성능 지표

전환율이라고 해주셨는데, XX 전환율 이렇게 구체적으로 작성해주시면 좋을 것 같아요.

장바구니 or 주문 Count라고 해주셨는데 지표 정의에서 or을 사용할 수도 있지만, 명확한 것이 좋은 지표일 수 있어서 두개를 나눠서 보는 것도 방법일 것 같아요.

장바구니는 어떤 의도로 보려고 하는 건가요?

6. 자주 사용하는 서비스의 지표

지금 생각하신 아이디어의 본질은 무엇일까요? 리텐션은 Output 지표고 아이디어의 Input을 생각하는 것이 필요합니다. 수강생이 여기서 해결하려고 하는 문제는 무엇인가요?

통화 품질은 상황에 따라서 다르게 나타날 수 있을 것 같아요. 통화 후 1분 이내 팔로우 비율이라는 것은 왜 1분인지 설명을 해야 하며, 사람들이 새벽에 늦게 끝냈다면 바로 잠이 들어 1분이란 시간이 적절하지 않을 수 있을 수 있지요. 여러 상황이 나타날 수 있다면 저는 그 상황을 지표로 정의하지 않으려고 합니다. 해석이 다양할 수 있다는 것을 의미하거든요

7. 퍼널 개선 프로젝트

온보딩 달성률은 조금 더 구체적으로 정의를 해보시면 좋을 것 같아요. 가입 전환율이라고 해주셨는데, 온보딩은 보통 가입한 후에 서비스를 잘 사용할 수 있도록 할 때 쓰이곤 합니다. 전환 이벤트를 정의해서 그 전환 이벤트를 달성했는가 등을 통해 사용자가 잘 사용하는가를 볼 수 있어요.
이 문제는 이후에 나오는 AB Test 부분을 보시면 더 이해가 되실 것 같아요. 

1번을 풀다보니 궁금한게 있어 추가질문 드립니다!

• 퍼널 분석 시 사용자가 중간에 다른 과정을 거쳐 목표에 도달하는 경우 어떻게 분석하나요?

• 예시: 배달 서비스 메인영역 클릭 → (중간에 검색, 카테고리 탐색 등) → 장바구니/주문 완료

• 이런 간접 경로를 통한 전환도 메인영역의 성과로 인정해야 하는지, 인정한다면 어떤 방식으로 측정하는지 궁금합니다.

이런 상황을 어떻게 측정할 것인지 정의를 하고 시작합니다. 한번이라도 검색을 했다면 인정하는 경우도 있고, 주문 직전에 검색을 했어야만 인정하는 경우도 있습니다. 프로젝트의 목적에 따라서 정한다고 보시면 됩니다. 그래서 퍼널 분석할 때 퍼널을 잘 정의하는 것이 필요합니다

문제 푸시느라 고생하셨습니다! 제 의견을 보고 또 다시 생각을 해보셔요!