4-8 지표 정의하기 연습 문제 풀이

Question

안녕하세요. 저는 PM/PO를 희망하는 취업준비생입니다! 아직 PM/PO 관련 직무 경험은 없고요. 그래서 나름대로 신중하게 문제를 푸느라 문제 풀이에 오랜 시간이 소요되었는데, 피드백을 받아보고 싶어 Q&A를 남깁니다.   1번 문제 메인 지표: CTR (특정 기능 클릭 수 / 메인 화면 진입 횟수) 문제는 메인화면의 각 기능이 ‘잘 동작하는지’확인하는 것 메인 화면의 특정 기능만을 언급하지 않음 → 특정 기능이 전환까지 잘 이어지는지 퍼널 관점에서 보는 것은 아니라고 판단 메인 화면의 모든 기능을 언급하였음 → 각 기능을 비교하여 보아야 하는 문제라고 판단하였음 잘 동작하는가 = 각 기능들이 화면 설계 단계에서 의도한 대로 유저의 관심을 끄는가 따라서, 메인화면에서 각 기능이 유저의 관심을 얼마나 끄는지를 확인할 수 있는 ‘CTR’을 메인 지표로 선정하였음 보조 지표: CVR (특정 기능 클릭 후 결제를 한 건수 / 특정 기능 클릭 수. 주문 전환율) CTR을 메인으로 보는 것은 맞으나, CVR을 보조 지표로 보면서 ‘주문’에 얼마나 기여하는지를 보아야 함 특히 ‘이런 음식 어때요’, ‘동네 맛집’ 등의 기능은 특정 음식점을 바로 보여줌 해당 기능을 클릭하면 메뉴 카테고리 및 음식점에 대한 유저의 선택지가 사라지고, 결제까지의 퍼널이 확 줄어듦(메뉴 선택 → 주문). 유저의 주문까지 이어지는 것을 고려하여 만든 기능은 CVR을 함께 보아야 한다고 생각함   2번 문제 메인 지표 1: CVR (검색 화면 진입 후 결제를 한 건수 / 검색 화면 진입 횟수. 주문 전환율) 검색 화면에 진입한 유저는 크게 ‘특정 메뉴나 식당을 정하고 앱을 작동한 유저 (1)’, ‘어떤 음식을 먹을지 고민하고 있는 유저 (2)’ 두 부류로 나눌 수 있음 두 세그 모두 ‘단순 탐색’이 아닌, 주문을 염두에 두고 검색 화면으로 진입한 것이기 때문에, ‘주문까지 이어질 경우 ‘검색 기능에 만족했다’고 볼 수 있음. 더 세부적으로 나누어, ‘직접 검색을 하는 유저’와 ‘실시간 검색어를 선택하는 유저’의 CVR을 따로 보면서 각 기능의 만족도를 보는 것도 가능함. 메인 지표 2: 체류 시간 (1)의 경우 이미 어떤 음식을 먹을지 결정을 내렸고, 주문 의사도 비교적 높기 때문에 빠르게 주문을 할 것. 해당 세그는 이미 의사결정이 완료되었기 때문에, 검색 화면에서 다음 퍼널로 넘어가지 못하고 체류 시간이 길다면 만족도가 떨어질 확률이 높음 (2)의 경우 어떤 음식을 먹을지 ‘결정하기 위해’ 검색 화면에 진입하였음. 검색 화면에서 체류 시간이 길다면, ‘어떤 음식을 먹을지 고민하는’ 유저의 문제 상황을 검색 기능이 해결해주지 못함을 의미 보조 지표: CTR (특정 기능 클릭 수 / 검색 화면 진입 횟수) 직접 검색, 실시간 검색어, 최근 검색어 등 각 기능들의 클릭율을 보면서 각 기능들이 잘 작동하고 있는지를 파악 단, 클릭율 만으로 ‘유저가 검색 기능에 만족했는지’를 파악하기는 어려움. 각 기능을 클릭였음에도 결제까지 이어지지 않는다면 ‘기능이 잘 동작했지만, 유저를 만족시키지는 못했음’을 의미하기 때문 따라서 CTR은 핵심 지표로 보기 보다는 보조 지표로서 ‘각 기능이 잘 동작하고 있는지’를 파악하는 데 활용   3번 문제 메인 지표: CTR 유저가 필터 기능을 통해 원하는 가게 또는 메뉴를 찾으면 필터 기능이 잘 사용되고 있다고 할 수 있음 따라서, 유저가 필터 기능을 사용한 후, 결과창에서 선택지를 클릭하는지를 본다면, 필터 기능이 잘 작동하는지 볼 수 있을 것 결과 컴포넌트 클릭 수 / 필터 설정을 하지 않는 사용자 수 결과 컴포넌트 클릭 수 / 특정 필터를 설정한 사용자 수 필터를 따로 설정하지 않았을 때의 클릭율, 특정 필터를 설정했을 때의 클릭율을 각각 보면서 ‘어떤 필터를 썼을 때 유저가 원하는 식당 or 메뉴를 잘 찾는지’를 볼 수 있을 것 CTR이 가장 높게 나오는 필터를 기본 설정 값으로 설정하고, CTR이 가장 낮게 나오는 필터를 하단에 배치하거나 제외하는 방식으로 기능을 개선할 수 있을 것   4번 문제 서비스 접속 횟수(리텐션), 체류 시간 대다수의 배달 서비스 유저는 ‘음식을 주문할 때’ 서비스를 이용함. ‘탐색’을 위해서 배달 서비스를 이용하는 경우는 극히 드뭄. ‘서비스 접속 = 주문’으로 이어지는 경우가 대부분 일단 배달 앱을 켜도록 만들면 주문으로 이어질 가능성이 높기 때문에 접속 횟수 자체를 늘릴 필요가 있고(접속 횟수 늘리기), 배달 서비스를 이용하는 대부분의 유저는 ‘배가 고픈 상태’에서 ‘음식 주문’을 위해 서비스를 이용하기 때문에, 음식 주문에 오랜 시간이 소요되지 않아야 서비스 사용 경험이 긍정적일 것 (체류 시간 줄이기) 서비스 접속 횟수를 늘리는 것은 유저가 음식을 자주 주문했던 시간에 푸시 알림을 보내는 등의 CRM 액션을 시도해볼 수 있을 것 체류 시간을 줄이기 위해서는 주문까지 가는 퍼널을 간소화하거나(ex. 배민의 과거 주문했던 메뉴 바로 주문), 개인의 과거 주문 기록을 바탕으로 하여 맞춤 메뉴 추천을 하는 방법이 있을 것   5번 문제 메인 지표: CTR (해당 메뉴 클릭 수 / 추천 알고리즘 화면 진입 수) 추천 알고리즘이 유저의 취향에 맞게 메뉴를 제공하였으면 메뉴를 클릭할 것(맞춤 추천이 아니라고 생각하면 클릭하지 않을 것). 따라서 CTR을 메인 지표로 보는 것이 ‘추천 알고리즘의 성능’을 가늠하기에 가장 적합하다고 생각함 보조 지표: CVR (해당 메뉴 결제 수 / 추천 메뉴 클릭 수) 자신의 취향에 맞고, 지금 당장 끌리는 음식이라고 생각하면 주문까지 이어질 수 있음 하지만, 과거에 많이 주문했던 음식이라고 하더라도 지금 시점에서 먹고 싶지 않을 수도 있고, 고민 중인 다른 선택지가 있을 수도 있기 때문에, 주문까지 이어지지 않았다고 해서 ‘추천 알고리즘의 성능이 저조하다’라고 단정지을 수 없음. 따라서 CVR은 보조 지표로서 봐야 함   6번 문제 네이버웹툰 핵심 지표: 요일별 1인당 평균 작품 소비 수 웹툰은 요일 단위로 작품이 업로드됨. 유저의 콘텐츠 소비 역시 요일 단위로 루틴처럼 형성됨. 특정 요일에 인기 작품이 편중되면 이러한 루틴이 깨지고, 리텐션이 약화될 수 있음 따라서 요일별 콘텐츠 소비량을 볼 수 있는 ‘요일별 1인당 평균 작품 소비 수’를 보면서 지표가 낮은 요일에 인기 작가의 신규 작품을 배치하거나, 추천 푸시 알림을 강화하는 등의 액션으로 ‘균형 잡힌 소비 패턴’을 만들어야 함   7번 문제 메인 지표: 서비스 가입 전환율 (온보딩 후 가입을 완료한 유저 / 온보딩 과정을 모두 완료한 유저) 프로젝트의 목적이 ‘가입 퍼널 개선’이었기 때문에, 온보딩 기능의 도입 역시 ‘가입 단계에서의 전환율을 높이기 위한 것’이었음 따라서 온보딩을 진행한 유저 중 얼마나 가입까지 이어졌는지를 본다면 온보딩 기능의 효과를 파악할 수 있을 것 보조 지표: 온보딩 단계별 이탈율 온보딩이 여러 단계에 걸쳐서 진행되는 기능이라면, 각 단계별로 이탈하는 유저가 얼마나 있는지를 파악하여 온보딩 기능을 개선할 수 있을 것   감사합니다!

카일스쿨 · Answer

창희님 안녕하세요! 문제 푸느라 고생하셨습니다. 하나씩 의견을 드려볼게요   1번 CTR, CVR 잘 생각해주셨고, 비교를 위한 것이라고 해주신 것도 좋네요 지표를 분자 분모로 해주신 것도 좋습니다 여기서 이제 의사 결정을 어떻게 할지 한번 생각해보셔도 좋을 것 같아요. CTR이 올라갈 때 CVR이 내려갔다면 어떻게 판단할 것인가? 생각 과정은 잘 하신 것 같고, 1번 생각하는데 얼마나 시간을 쓰셨을지 궁금하네요. 시간을 많이 쓰셨다고 생각하면 어떻게 해야 줄일 수 있을까 고민해보셔요   2번 잘 생각해주셨고, CVR을 메인 지표로 해주셨는데 CVR이란 퍼널 구조에 따라서 퍼널이 길면 지표가 낮아집니다. 그래서 지표의 변화가 적을 수 있어요. 그래서 이 문제를 위해 CTR을 먼저 보는 경우도 있습니다. 이 관점도 기억해보시면 좋을 것 같아요 체류 시간의 경우 다양하게 해석이 되는데 (1)은 납득이 되고 (2)는 결정하는 과정이니까 체류 시간이 길어질 수 밖에 없을 것 같아요. 그렇다고 하면 몇 초가 적절하냐?라는 기준점을 제시하는 것이 필요합니다. 그 기준점을 어떻게 잡을 것인가?도 중요할 것 같구요 검색 알고리즘처럼 "알고리즘" 이 붙는다면 보통 사용하는 지표가 어느정도 정해져 있습니다 https://www.google.com/search?q=%EA%B2%80%EC%83%89+%EC%95%8C%EA%B3%A0%EB%A6%AC%EC%A6%98+%EC%A7%80%ED%91%9C 검색 알고리즘 지표로 검색해서 어떤 식으로 하는지도 살펴보셔요! 지금 작성해주신 것은 제품 관점의 지표고, 위에 제가 공유드린 것은 알고리즘 관점의 지표에요. 하나에도 두가지 관점이 있구나 생각해주시면 됩니다   3번 네 이건 제가 생각한 것과 같게 생각해주셨어요. 잘하셨습니다   4번 4번 문제는 리텐션이나 체류 시간이라고 답하면 저는 아쉬운 답변이라 생각할 것 같은데, 그 이유는 "비즈니스 모델"을 고려해서 지표를 말해달라고 했기 때문입니다 비즈니스 모델을 고려하지 않으면 리텐션 체류 시간이 모두 다 쓰일 수 있는 Output 지표입니다 비즈니스 모델을 고려한 Input 지표를 만들면 좋겠다는 의도로 낸 문제입니다 서비스 접속 = 주문으로 이어지는 경우가 대부분이라고 해주셨는데 이 근거는 어디에서 나온걸까요? DAU가 1000명이면 주문이 1000명에 근접하다고 생각하시는걸까요? 제 경험상 아닌 경우를 더 보긴 했습니다. Push를 보내거나 하면 DAU는 올라가는데 주문은 영향이 적은 상황도 있구요 그렇기 때문에 지금 Input 지표를 생각해보시면 좋겠습니다(배달 비즈니스의 목표를 생각하면서) 5번 5번도 2번과 문제가 거의 비슷하고, 추천 알고리즘은 Recall, Precision 등의 방식으로 확인하곤 합니다 https://imlookingformyjob.tistory.com/entry/%EC%B6%94%EC%B2%9C%EC%8B%9C%EC%8A%A4%ED%85%9C-%EC%B6%94%EC%B2%9C%EC%8B%9C%EC%8A%A4%ED%85%9C-%EC%A2%85%ED%95%A9-%ED%8F%89%EA%B0%80-PV-CTR-AB-Test-%EC%A0%95%ED%99%95%EB%8F%84-%EC%A0%95%EB%B0%80%EB%8F%84-%EC%9E%AC%ED%98%84%EC%9C%A8-F1-Score-PrecisionRecallK-MAPK-nDCG-Hit-RateK 추천 알고리즘 지표로 검색해서 글 몇개 살펴보시고 인지하시면 좋을 것 같아요!   6번 1인당 평균 작품 소비수를 제시해주셨는데, 평균 1.5개, 3.5개 이런 식으로 표현될 것 같아요. 저라면 하루에 소비된 작품 수나 작품을 소비한 유저 수를 구할 것 같고, 유저 수가 있으면 말씀하신 것을 보조적으로 계산해둘 수 있을 것 같아요 그 이유는 "평균"값은 데이터 분포에 따라 달라집니다. 그렇기 때문에 아웃라이어가 생기면 지표가 올라갈 수도 있어요(물론 트래픽이 많으면 이것도 어느정도 영향이 덜 미치겠지만) 그래서 저는 평균을 보기도 하지만 평균을 계산하기 위해 구성되는 값을 더 먼저 보고 평균을 봅니다 그리고 평균 외에도 중앙값도 보는 편이에요. 두개를 보면 분포가 어떤지 이해할 수 있거든요 이렇게 하면 어떻게 해야 사람들이 작품을 더 많이 볼 수 있을까? 생각할 수 있어서 Action Item을 구체화할 때 도움이 됩니다 여기서 더 나아가면 신규 유저별, 기존 유저별로도 쪼개볼 수 있지요   7번 네 이 부분은 지표는 잘 생각해주셨고, 추후에 있을 실험 내용을 맛보게 하려고 낸 문제였어요. 실험 파트를 보시고 다시 문제 보시면 영감을 얻으실 수 있을 거예요   문제 푸느라 고생하셨습니다!!