강의

멘토링

커뮤니티

인프런 커뮤니티 질문&답변

이창희님의 프로필 이미지
이창희

작성한 질문수

PM을 위한 데이터 리터러시(프로덕트 데이터 분석)

4-8. 지표 정의 연습 문제(꼭 풀어보세요!) - 7문제

4-8 지표 정의하기 연습 문제 풀이

해결된 질문

작성

·

45

0

안녕하세요. 저는 PM/PO를 희망하는 취업준비생입니다! 아직 PM/PO 관련 직무 경험은 없고요. 그래서 나름대로 신중하게 문제를 푸느라 문제 풀이에 오랜 시간이 소요되었는데, 피드백을 받아보고 싶어 Q&A를 남깁니다.

 

1번 문제

  • 메인 지표: CTR (특정 기능 클릭 수 / 메인 화면 진입 횟수)

    • 문제는 메인화면의 각 기능이 ‘잘 동작하는지’확인하는 것

      • 메인 화면의 특정 기능만을 언급하지 않음 → 특정 기능이 전환까지 잘 이어지는지 퍼널 관점에서 보는 것은 아니라고 판단

      • 메인 화면의 모든 기능을 언급하였음 → 각 기능을 비교하여 보아야 하는 문제라고 판단하였음

      • 잘 동작하는가 = 각 기능들이 화면 설계 단계에서 의도한 대로 유저의 관심을 끄는가

        • 따라서, 메인화면에서 각 기능이 유저의 관심을 얼마나 끄는지를 확인할 수 있는 ‘CTR’을 메인 지표로 선정하였음

  • 보조 지표: CVR (특정 기능 클릭 후 결제를 한 건수 / 특정 기능 클릭 수. 주문 전환율)

    • CTR을 메인으로 보는 것은 맞으나, CVR을 보조 지표로 보면서 ‘주문’에 얼마나 기여하는지를 보아야 함

    • 특히 ‘이런 음식 어때요’, ‘동네 맛집’ 등의 기능은 특정 음식점을 바로 보여줌

      • 해당 기능을 클릭하면 메뉴 카테고리 및 음식점에 대한 유저의 선택지가 사라지고, 결제까지의 퍼널이 확 줄어듦(메뉴 선택 → 주문). 유저의 주문까지 이어지는 것을 고려하여 만든 기능은 CVR을 함께 보아야 한다고 생각함

 

2번 문제

  • 메인 지표 1: CVR (검색 화면 진입 후 결제를 한 건수 / 검색 화면 진입 횟수. 주문 전환율)

    • 검색 화면에 진입한 유저는 크게 ‘특정 메뉴나 식당을 정하고 앱을 작동한 유저 (1)’, ‘어떤 음식을 먹을지 고민하고 있는 유저 (2)’ 두 부류로 나눌 수 있음

      • 두 세그 모두 ‘단순 탐색’이 아닌, 주문을 염두에 두고 검색 화면으로 진입한 것이기 때문에, ‘주문까지 이어질 경우 ‘검색 기능에 만족했다’고 볼 수 있음.

    • 더 세부적으로 나누어, ‘직접 검색을 하는 유저’와 ‘실시간 검색어를 선택하는 유저’의 CVR을 따로 보면서 각 기능의 만족도를 보는 것도 가능함.

  • 메인 지표 2: 체류 시간

    • (1)의 경우 이미 어떤 음식을 먹을지 결정을 내렸고, 주문 의사도 비교적 높기 때문에 빠르게 주문을 할 것.

      • 해당 세그는 이미 의사결정이 완료되었기 때문에, 검색 화면에서 다음 퍼널로 넘어가지 못하고 체류 시간이 길다면 만족도가 떨어질 확률이 높음

    • (2)의 경우 어떤 음식을 먹을지 ‘결정하기 위해’ 검색 화면에 진입하였음.

      • 검색 화면에서 체류 시간이 길다면, ‘어떤 음식을 먹을지 고민하는’ 유저의 문제 상황을 검색 기능이 해결해주지 못함을 의미

  • 보조 지표: CTR (특정 기능 클릭 수 / 검색 화면 진입 횟수)

    • 직접 검색, 실시간 검색어, 최근 검색어 등 각 기능들의 클릭율을 보면서 각 기능들이 잘 작동하고 있는지를 파악

      • 단, 클릭율 만으로 ‘유저가 검색 기능에 만족했는지’를 파악하기는 어려움. 각 기능을 클릭였음에도 결제까지 이어지지 않는다면 ‘기능이 잘 동작했지만, 유저를 만족시키지는 못했음’을 의미하기 때문

      • 따라서 CTR은 핵심 지표로 보기 보다는 보조 지표로서 ‘각 기능이 잘 동작하고 있는지’를 파악하는 데 활용

 

3번 문제

  • 메인 지표: CTR

    • 유저가 필터 기능을 통해 원하는 가게 또는 메뉴를 찾으면 필터 기능이 잘 사용되고 있다고 할 수 있음

    • 따라서, 유저가 필터 기능을 사용한 후, 결과창에서 선택지를 클릭하는지를 본다면, 필터 기능이 잘 작동하는지 볼 수 있을 것

      • 결과 컴포넌트 클릭 수 / 필터 설정을 하지 않는 사용자 수

      • 결과 컴포넌트 클릭 수 / 특정 필터를 설정한 사용자 수

        • 필터를 따로 설정하지 않았을 때의 클릭율, 특정 필터를 설정했을 때의 클릭율을 각각 보면서 ‘어떤 필터를 썼을 때 유저가 원하는 식당 or 메뉴를 잘 찾는지’를 볼 수 있을 것

        • CTR이 가장 높게 나오는 필터를 기본 설정 값으로 설정하고, CTR이 가장 낮게 나오는 필터를 하단에 배치하거나 제외하는 방식으로 기능을 개선할 수 있을 것

 

4번 문제

  • 서비스 접속 횟수(리텐션), 체류 시간

    • 대다수의 배달 서비스 유저는 ‘음식을 주문할 때’ 서비스를 이용함. ‘탐색’을 위해서 배달 서비스를 이용하는 경우는 극히 드뭄.

    • ‘서비스 접속 = 주문’으로 이어지는 경우가 대부분

      • 일단 배달 앱을 켜도록 만들면 주문으로 이어질 가능성이 높기 때문에 접속 횟수 자체를 늘릴 필요가 있고(접속 횟수 늘리기),

      • 배달 서비스를 이용하는 대부분의 유저는 ‘배가 고픈 상태’에서 ‘음식 주문’을 위해 서비스를 이용하기 때문에, 음식 주문에 오랜 시간이 소요되지 않아야 서비스 사용 경험이 긍정적일 것 (체류 시간 줄이기)

    • 서비스 접속 횟수를 늘리는 것은 유저가 음식을 자주 주문했던 시간에 푸시 알림을 보내는 등의 CRM 액션을 시도해볼 수 있을 것

    • 체류 시간을 줄이기 위해서는 주문까지 가는 퍼널을 간소화하거나(ex. 배민의 과거 주문했던 메뉴 바로 주문), 개인의 과거 주문 기록을 바탕으로 하여 맞춤 메뉴 추천을 하는 방법이 있을 것

 

5번 문제

  • 메인 지표: CTR (해당 메뉴 클릭 수 / 추천 알고리즘 화면 진입 수)

    • 추천 알고리즘이 유저의 취향에 맞게 메뉴를 제공하였으면 메뉴를 클릭할 것(맞춤 추천이 아니라고 생각하면 클릭하지 않을 것). 따라서 CTR을 메인 지표로 보는 것이 ‘추천 알고리즘의 성능’을 가늠하기에 가장 적합하다고 생각함

  • 보조 지표: CVR (해당 메뉴 결제 수 / 추천 메뉴 클릭 수)

    • 자신의 취향에 맞고, 지금 당장 끌리는 음식이라고 생각하면 주문까지 이어질 수 있음

    • 하지만, 과거에 많이 주문했던 음식이라고 하더라도 지금 시점에서 먹고 싶지 않을 수도 있고, 고민 중인 다른 선택지가 있을 수도 있기 때문에, 주문까지 이어지지 않았다고 해서 ‘추천 알고리즘의 성능이 저조하다’라고 단정지을 수 없음. 따라서 CVR은 보조 지표로서 봐야 함

 

6번 문제

  • 네이버웹툰

  • 핵심 지표: 요일별 1인당 평균 작품 소비 수

    • 웹툰은 요일 단위로 작품이 업로드됨. 유저의 콘텐츠 소비 역시 요일 단위로 루틴처럼 형성됨.

    • 특정 요일에 인기 작품이 편중되면 이러한 루틴이 깨지고, 리텐션이 약화될 수 있음

    • 따라서 요일별 콘텐츠 소비량을 볼 수 있는 ‘요일별 1인당 평균 작품 소비 수’를 보면서 지표가 낮은 요일에 인기 작가의 신규 작품을 배치하거나, 추천 푸시 알림을 강화하는 등의 액션으로 ‘균형 잡힌 소비 패턴’을 만들어야 함

 

7번 문제

  • 메인 지표: 서비스 가입 전환율 (온보딩 후 가입을 완료한 유저 / 온보딩 과정을 모두 완료한 유저)

    • 프로젝트의 목적이 ‘가입 퍼널 개선’이었기 때문에, 온보딩 기능의 도입 역시 ‘가입 단계에서의 전환율을 높이기 위한 것’이었음

    • 따라서 온보딩을 진행한 유저 중 얼마나 가입까지 이어졌는지를 본다면 온보딩 기능의 효과를 파악할 수 있을 것

  • 보조 지표: 온보딩 단계별 이탈율

    • 온보딩이 여러 단계에 걸쳐서 진행되는 기능이라면, 각 단계별로 이탈하는 유저가 얼마나 있는지를 파악하여 온보딩 기능을 개선할 수 있을 것

 

감사합니다!

답변 1

0

카일스쿨님의 프로필 이미지
카일스쿨
지식공유자

창희님 안녕하세요! 문제 푸느라 고생하셨습니다. 하나씩 의견을 드려볼게요

 

1번

  • CTR, CVR 잘 생각해주셨고, 비교를 위한 것이라고 해주신 것도 좋네요

  • 지표를 분자 분모로 해주신 것도 좋습니다

  • 여기서 이제 의사 결정을 어떻게 할지 한번 생각해보셔도 좋을 것 같아요.

    • CTR이 올라갈 때 CVR이 내려갔다면 어떻게 판단할 것인가?

  • 생각 과정은 잘 하신 것 같고, 1번 생각하는데 얼마나 시간을 쓰셨을지 궁금하네요. 시간을 많이 쓰셨다고 생각하면 어떻게 해야 줄일 수 있을까 고민해보셔요

 

2번

  • 잘 생각해주셨고, CVR을 메인 지표로 해주셨는데 CVR이란 퍼널 구조에 따라서 퍼널이 길면 지표가 낮아집니다. 그래서 지표의 변화가 적을 수 있어요. 그래서 이 문제를 위해 CTR을 먼저 보는 경우도 있습니다. 이 관점도 기억해보시면 좋을 것 같아요

  • 체류 시간의 경우 다양하게 해석이 되는데 (1)은 납득이 되고 (2)는 결정하는 과정이니까 체류 시간이 길어질 수 밖에 없을 것 같아요. 그렇다고 하면 몇 초가 적절하냐?라는 기준점을 제시하는 것이 필요합니다. 그 기준점을 어떻게 잡을 것인가?도 중요할 것 같구요

  • 검색 알고리즘처럼 "알고리즘" 이 붙는다면 보통 사용하는 지표가 어느정도 정해져 있습니다

 

3번

  • 네 이건 제가 생각한 것과 같게 생각해주셨어요. 잘하셨습니다

 

4번

  • 4번 문제는 리텐션이나 체류 시간이라고 답하면 저는 아쉬운 답변이라 생각할 것 같은데, 그 이유는 "비즈니스 모델"을 고려해서 지표를 말해달라고 했기 때문입니다

    • 비즈니스 모델을 고려하지 않으면 리텐션 체류 시간이 모두 다 쓰일 수 있는 Output 지표입니다

    • 비즈니스 모델을 고려한 Input 지표를 만들면 좋겠다는 의도로 낸 문제입니다

    • 서비스 접속 = 주문으로 이어지는 경우가 대부분이라고 해주셨는데 이 근거는 어디에서 나온걸까요?

      • DAU가 1000명이면 주문이 1000명에 근접하다고 생각하시는걸까요? 제 경험상 아닌 경우를 더 보긴 했습니다. Push를 보내거나 하면 DAU는 올라가는데 주문은 영향이 적은 상황도 있구요

    • 그렇기 때문에 지금 Input 지표를 생각해보시면 좋겠습니다(배달 비즈니스의 목표를 생각하면서)

5번

 

6번

  • 1인당 평균 작품 소비수를 제시해주셨는데, 평균 1.5개, 3.5개 이런 식으로 표현될 것 같아요.

    • 저라면 하루에 소비된 작품 수나 작품을 소비한 유저 수를 구할 것 같고, 유저 수가 있으면 말씀하신 것을 보조적으로 계산해둘 수 있을 것 같아요

    • 그 이유는 "평균"값은 데이터 분포에 따라 달라집니다. 그렇기 때문에 아웃라이어가 생기면 지표가 올라갈 수도 있어요(물론 트래픽이 많으면 이것도 어느정도 영향이 덜 미치겠지만) 그래서 저는 평균을 보기도 하지만 평균을 계산하기 위해 구성되는 값을 더 먼저 보고 평균을 봅니다

    • 그리고 평균 외에도 중앙값도 보는 편이에요. 두개를 보면 분포가 어떤지 이해할 수 있거든요

  • 이렇게 하면 어떻게 해야 사람들이 작품을 더 많이 볼 수 있을까? 생각할 수 있어서 Action Item을 구체화할 때 도움이 됩니다

    • 여기서 더 나아가면 신규 유저별, 기존 유저별로도 쪼개볼 수 있지요

 

7번

  • 네 이 부분은 지표는 잘 생각해주셨고, 추후에 있을 실험 내용을 맛보게 하려고 낸 문제였어요. 실험 파트를 보시고 다시 문제 보시면 영감을 얻으실 수 있을 거예요

 

문제 푸느라 고생하셨습니다!!

이창희님의 프로필 이미지
이창희

작성한 질문수

질문하기