4-8. 지표 정의 연습 문제

Question

안녕하세요 카일님! 문제 정의처럼 본질적인 걸 설명해주시는데도 활용도가 높아서 매 챕터마다 놀람을 금치 못하면서, 강의 너무x100 잘 듣고 있습니다 ㅎㅎ 배운 부분들을 활용하면서 지표 정의 연습 문제를 풀어봤습니다. 피드백 부탁드려요 :)   #1. 기능이 잘 작동하는지 확인하려면? 1-1. 문제 정의 프로세스 Q. 기능이 잘 동작한다면 어떤 현상이 발생하고 있을까? A. 해당 기능을 클릭한다. Q. 위 현상이 왜 발생했을까? A. 고객이 원하는 정보를 빠르게 제공했기 때문이다. Q. 고객은 이런 상황에 어떻게 할까? A. 해당 페이지에서 버튼 클릭, 다음 스크린 이동 등 특정 이벤트를 수행한다. 1-2. 핵심 지표 & 보조 지표 정의 핵심 지표는 무엇인가? 기능별 CTR (click / view) 보조 지표는 무엇인가? 클릭한 신규 유저의 해당 세션 내 홈화면 Duration Time → 빠르게 정보를 찾을 수 있었는지 확인 기존 유저의 경우 이미 페이지 레이아웃을 알고 있으므로 신규 유저만 따로 구분해서 보고자 함 다음 페이지에서의 이벤트 발생 여부 → 원하는 정보를 찾았는지 확인 ex. 최상단의 배너 컴포넌트를 클릭한 후 ‘할인 쿠폰 받기’ 버튼을 클릭했는지 만약 아무 이벤트가 발생하지 안혹 다시 홈화면으로 이탈한다면, 기능을 클릭했다고 하더라도 원하는 정보를 제공했다고 보기 어려움 1-3. 멘탈 시뮬레이션 핵심 지표(CTR)을 어떻게 올릴 수 있을까? input 지표는 무엇일까? 신규 유저를 대상으로 온보딩 프로세스 진행해 더 빠르게 정보를 제공 ⇒ ab 테스트로 온보딩 제공(실험군), 미제공(대조군) 유저의 한 세션 내 duration time 비교 서브 타이틀을 추가해 클릭 시 표시될 정보에 대한 힌트 제공 ex. ‘이런 음식 어때요’ 타이틀 하단에 “지금 다른 사람들이 많이 주문하고 있어요!” 텍스트 추가 / ‘동네 맛집’ 타이틀 하단에 “지금 이웃들이 가장 많이 찾는 맛집” 텍스트 추가   #2. 검색 만족도 지표 2-1. 문제 정의 프로세스 Q. 검색 기능에 만족한다면 어떤 현상이 발생하고 있을까? A. 검색 결과를 클릭한다. Q. 위 현상이 왜 발생했을까? A. 검색을 통해 찾고자 했던 정보가 표시됐기 때문이다. Q. 고객은 이런 상황에 어떻게 할까? A. 검색 기능을 다음 앱 방문 때도 사용한다. 2-2. 핵심 지표 & 보조 지표 정의 핵심 지표는 무엇인가? search, search_result 페이지별 검색 결과 CTR (click / view) 검색 기능 사용 주차별 리텐션율 (전주 대비 이번 주 search, search_result 페이지 vIew 수) 꼭 매번 앱을 사용할 때마다 검색 기능을 사용하지는 않을 수 있기 때문에 한 주로 기간을 정의함 보조 지표는 무엇인가? 검색 결과를 클릭한 유저의 결제 전환율 (결제를 진행한 유저 수 / search OR search_result 페이지에서 검색 결과를 클릭한 유저 수) 실제로 매출로까지 이어졌는지 파악하고자 함 2-3. 멘탈 시뮬레이션 만약 검색 결과에 만족하지 않았다면 유저는 어떻게 행동할까? 홈 화면으로 이탈한다. (search ⇒ home) 재검색을 해본다 (search ⇒ search_result ⇒ search ⇒ search_result)   #3. 검색 필터 기능의 활성화 지표 3-1. 문제 정의 프로세스 Q. 필터 기능이 잘 사용되고 있다다면 어떤 현상이 발생하고 있을까? A. 검색 필터 결과를 클릭한다. Q. 위 현상이 왜 발생했을까? A. 원하는 조건을 적용해 많은 검색 결과 중 본인에게 필요한 정보만 볼 수 있었기 때문이다. Q. 고객은 이런 상황에 어떻게 행동할까? A. 필터 기능을 다시 사용한다. 3-2. 핵심 지표 & 보조 지표 정의 핵심 지표는 무엇인가? 검색 필터 결과 CTR 활성화를 ‘본인에게 필요한 정보를 찾는 것’으로 정의 → 필요한 정보를 찾았다면 검색 결과를 클릭했을 것 보조 지표는 무엇인가? 검색 필터 기능 주차별 리텐션율 필터 기능을 통한 검색 프로세스가 만족스러웠다면 다시 사용했을 것 검색 필터 사용 ↔ 미사용 유저의 결제 전환율 편차 일종의 가드레일 지표로 사용. 퍼널 전체에 영향을 얼마나 미치는지 확인 3-3. 멘탈 시뮬레이션 핵심 지표를 어떻게 개선할 수 있을까? input 지표는 무엇일까? ‘필요한 정보’를 더 쪼개서 생각해보면 아래 2가지로 나눌 수 있음 A) 구매하고자 하는 상품군이 뚜렷하여 해당 정보를 찾는 것 (ex. 운동할 때 입을 반바지를 사기 위해 카테고리 필터에서 ‘트레이닝 복’을 선택) B) 아직 구매하고자 하는 바가 뚜렷하지 않아 필요 없는 정보는 제외하는 것 (ex. 10만원 이상은 지불할 의사가 없어 가격 필터를 10만원 이하로 설정) A를 원하는 유저에게는 더 상세하게 필터에서 선택할 수 있는 값을 제공 B를 원하는 유저에게는 직접 값을 입력하는 방식으로 드래그 형식으로 범위를 지정할 수 있도록 UX 제공 필터 기능에서 유저가 아하 모먼트를 느끼지 못 했다면 어떻게 행동할까? 필터 기능이 복잡하다고 느껴서 이탈할 수도 있을 듯 → 검색 페이지에서 홈 화면으로의 이탈율을 파악 #4. 배달 서비스에서 가장 중요한 지표는? 4-1. 핵심 지표 정의 주차별 리텐션율 일반적인 배달 비즈니스의 모델은 매출원을 ‘수수료’, ‘광고 및 프로모션’, ‘파트너사 수수료’, ‘기타 수익원’ 총 4가지로 나눌 수 있음 또한 수수료가 가장 큰 수입원인 경우가 많음 수수료의 선행 지표로는 아래 3가지가 있음 A. 주문 건수를 늘리거나 B. 객단가를 높이거나 C. 더 자주 주문을 하게 만들거나 A는 프로모션을 통해 일시적으로 증가시킬 수 있지만 지속 가능한 방안이 아님. 또한 유저의 관점에서 생각해보면 옷은 하루에도 5벌, 100벌도 살 수 있지만 음식은 하루에 5끼, 10끼 먹으라 할 수 없음 (허헣) B는 3-side market인 배달 비즈니스 모델을 고려했을 때 가맹점들에게 강제할 수 없으므로 어려움 C는 가맹점, 라이더와 별개적으로 관리할 수 있는 지표로, 플랫폼의 편의성을 높이는 등의 액션으로 통제가 가능함 따라서 주차별 리텐션율을 핵심 지표로 설정함 4-2. Action Item 도출 서비스를 다시 사용하는 유저에 대한 가설은 아래와 같음 배달 앱이 편리하다 배달 앱이 경쟁사에 비해 혜택을 많이 준다 입점된 가게가 많다 리뷰가 많다 부가적인 서비스를 제공한다 (ex. 쿠팡이츠 - 쿠팡플레이) 데이터를 확인할 수 없으므로 개인의 경험을 토대로 생각했을 때 4번 이유가 가장 클 것으로 예상 유저에게 리뷰 작성을 유도하거나, 리뷰를 보기 편리하도록 기능을 개선한다면 주차별 리텐션율도 높아질 것으로 예상됨 #5. 추천 알고리즘의 성능 지표 5-1. 문제 정의 프로세스 Q. 유저가 추천에 만족했다면 어떤 현상이 발생할까? A. 추천 알고리즘으로 표시된 제품에 관심을 가진다 Q. 위 현상이 왜 발생했을까? A’. 구매를 하려고 했던 제품을 표시해줬다 A.’’ 살 생각은 없었으나 마음에 드는 제품을 추천해줬다 Q. 어떤 행동을 할까? A’. 추천 상품을 클릭한다 A’’. 상세페이지에서 구매를 한다 5-2. 핵심 지표 & 보조 지표 정의 핵심 지표는 무엇인가? 추천 상품 CTR 보조 지표는 무엇인가? 추천 상품 CVR 5-3. 멘탈 시뮬레이션 어떻게 하면 핵심 지표를 높일 수 있을까? Input 지표는 무엇일까? 유저를 세그먼트로 나눠 NDCG를 측정(관련도 값을 활용할 수 있기 때문에 평가 지표로 NDCG를 선정함)하고 각 세그먼트 별로 추천 알고리즘을 다르게 적용 → NDCG가 Input 지표로 적용될 수 있음 #6. 자주 사용하는 서비스의 지표 6-0. 가장 자주 사용하는 서비스 배달의 민족 내 배민스토어 서비스 6-1. 제일 중요한 지표는 무엇인가? 배달의 민족 유저 중 배민스토어 사용 이력 있는 유저의 비율 (배민스토어 MAU / 배달의 민족 MAU) 6-2. 왜 해당 지표가 가장 중요한가? 현 배민스토어 비즈니스 상황을 고려했을 때, AARRR 퍼널 중 Acquisition을 개선했을 때 가장 비즈니스 임팩트가 클 것으로 예상되기 때문 배달의 민족은 MAU가 약 2천만에 달하지만 그 중 배민스토어를 사용해본 유저는 3.4%에 불과(오픈서베이 리포트 참고) 또한 이미 회원가입이 되어 있는 유저를 배민스토어로 유입시키기만 하면 되기 때문에 퍼널 개선의 난이도가 낮음 워낙 배민 유저가 많아 임팩트가 뒷단의 퍼널을 개선했을 때보다 임팩트가 큼 6-3. 이외에 확인해야 하는 지표 2개는? 배민스토어 홈 화면 컴포넌트별 클릭률 아직 사업 초기이기 때문에 유저를 온보딩하는 기능이 중요 → 해당 역할을 얼마나 잘 하고 있는지 클릭률을 통해 확인 장바구니 → 결제 페이지 전환율 최소주문금액이 1만~3만 원 정도로 형성되어 있는데, ‘즉시성’이라는 요인(ex. 갑자기 수건이 없어서 다음 날 도착하는 쿠팡이나 네이버가 아닌 1~3시간 내 도착하는 배민스토어를 통해 주문)을 고려했을 때 최소주문금액을 채우지 못하는 유저가 많을 것으로 생각됨 #7. 가입 퍼널 개선 프로젝트 7-1. 핵심 지표는 무엇인가? 온보딩 도입 이전 대비 가입률 증감률 온보딩 도입 이전 대비 핵심 기능 사용 비율 비교 온보딩은 서비스의 아하 모먼트를 미리 알려주려고 하는 기능도 있음. 만약 가입을 한다고 해도, 서비스의 아하 모먼트를 파악하지 못하면 리텐션율이 떨어질 것이기 때문.   +) 연습 문제를 풀면서 느낀 점 MECE하게 문제를 나눌 때 어떤 기준으로 로직 트리를 그려 나가냐에 따라 액션 아이템도 완전히 달라진다 이 업무. 문제 정의가 99%다. 어렵지만 그만큼 중요하니 앞으로도 꾸준히 연습을 해봐야겠다   ++) 어려웠던 부분 & 궁금한 부분 문제 정의 프로세스에서 '어떤 현상이 발생할까?'와 '고객은 이런 상황에 어떻게 행동할까?'에 같은 답변을 하게 되는 경우가 많았습니다. 또는 순서의 개념으로 작성을 하게 되는데(ex. 검색 기능을 클릭한다 -> 검색 기능을 다시 사용한다) 제가 제대로 프로세스를 짜고 있는 게 맞을까요? 팀원들에게 문제 정의를 설명할 때 어떻게 하면 제가 만든 MECE+Logic Tree를 전달할 수 있을까요? (특히 상사에게 보고할 때 도식화를 그대로 보여줄 수는 없으니...) 혹시 카일 님만의 팁이 있는지 궁금합니다!   감사합니다!

카일스쿨 · Answer

알렌님 안녕하세요! 하나씩 답변드릴게요 :)   #1. 기능이 잘 작동하는지 확인하려면? 문제 정의 프로세스 좋아요! 생각의 흐름을 정리하는 것이 큰 도움이 되더라구요 CTR로 잘 선정해주셨네요! CTR로 보시는 것을 습관화하시면 좋을거에요 Duration Time을 보조지표로 주셨는데 그렇다면 어떻게 구해야 할까요? 쿼리 레벨에서 생각해보시거나 구체적으로 정의해보면 어떨까 싶어요 만약 다른 화면에 갔다가 1초만에 나오고 다시 들어올 경우엔? 백그라운드로 빠지고 다시 접속한 경우엔? 이런 엣지 케이스를 생각해보시면 도움이 될거에요 다음 페이지 발생 이벤트 여부는 CVR처럼 생각하는 개념과 비슷하네요! 이 개념도 좋을 것 같네요 멘탈 시뮬레이션도 잘 작성하셨네요! 해볼 수 있는 생각을 여러개 써보는게 핵심입니다   #2. 검색 만족도 지표 CTR 잘 해주셨네요! 거기에 리텐션율도 해주셨는데, 검색 기능 사용 주차별 리텐션이라고 구체적으로 정의하신 부분 칭찬드리고 싶네요!(단순히 리텐션으로 퉁치는 경우가 많거든요) 1주의 기간을 정의할 때는 추가적으로 검색을 얼마나 하는지 확인해볼 것 같아요. 그 주기를 보고 1주를 볼지 1달을 볼지 정할 수 있을 것 같네요 2-3 멘탈 시뮬레이션에선 그럼 우린 뭘 해야할까?고민해보시는 것을 추천드려요   #3. 검색 필터 기능의 활성화 지표 CTR로 잘 정리해주셨네요! CTR 아래에 각종 기능이 있을텐데 그 기능을 얼마나 사용하는지도 보시면 좋을 것 같아요. 자주 사용하는 필터가 있다거나, 어떤 필터를 보고 또 다른 필터를 한다거나 이런 것들을 보고 하나의 기능으로 만들거나 제거하거나 가능할거에요 필요한 정보를 더 쪼개서 2가지로 나눈 것도 잘하셨어요-! 이런 경우를 데이터로 어떻게 추론할 수 있을까요? #4. 배달 서비스에서 가장 중요한 지표는? 생각의 흐름 잘 정리해주셨네요! 좋네요 다만 리텐션은 모든 비즈니스에서 중요한 지표라고 말할 수 있을 것 같은데, 배달 서비스에서만 생각할 수 있는 지표는 무엇이 있을까요? 비즈니스 한정해서 지표를 뽑아보시면 좋을 것 같아요-! A~C 정의하신 것도 넘 잘하셨어요 Action Item 도출에서 리뷰가 많다는 것이 가장 중요하다는 것을 어떻게 알 수 있을까요? #5. 추천 알고리즘의 성능 지표 추천알고리즘 잘 해주셨네요! NDCG를 나타낸 점도 잘하셨습니다 https://velog.io/@redgem92/%EC%B6%94%EC%B2%9C%ED%99%94-%EC%8B%9C%EC%8A%A4%ED%85%9C-04.-%EC%B6%94%EC%B2%9C-%EC%8B%9C%EC%8A%A4%ED%85%9C%EC%9D%98-%ED%8F%89%EA%B0%80-%EC%A7%80%ED%91%9C 위처럼 알고리즘의 성능 지표는 이미 정의되어 있는 경우가 많아서, 어떤 것을 할 때 이렇게 찾아보시는 것도 추천드려요 :) #6. 자주 사용하는 서비스의 지표 AARRR에서 A를 개선할 때 임팩트가 크다고 예상된다고 하셨는데 그렇다면 유입되면 유저가 보통 얼마를 구매할까요? 이런 것을 계산 어떻게 할 수 있을까요? 유저가 많으니 유입되면 뒷단 퍼널 개선했을 때보다 임팩트가 클 수도 있겠네요. 다만 뒷단 퍼널의 데이터도 한번 보고 판단하면 더더 좋을 것 같단 생각이 드네요..!(사실 둘 다 해야하긴 하죠) #7. 가입 퍼널 개선 프로젝트 이 부분도 잘 작성해주셨네요! 이 경우라면 AB Test를 해보면 조금 더 좋은 분석 결과를 얻을 수 있을거에요   ++) 어려웠던 부분 & 궁금한 부분 네 이 강의가 PM을 위한 강의라서 User Story로 시작하면서 가설을 만드는 예시를 보여드렸고, 문제도 그렇게 구성했어요 일단 이렇게 시작하고 그 후에는 비즈니스 관점에서 매출/비용 관점에서 내려가는 분석을 할 수도 있을거에요. 이건 비즈니스 분석 파트긴 하지요 그 흐름으로 베이스라인을 만들고 그 후에 확장한다고 생각해주시면 좋을 것 같아요! MECE + Logic Tree 전달은 일단 전달해보고 사람들이 이해하는지에 따라 결정하곤 해요. 개념을 모르면 개념을 추가하고, 이해하는데 와닿지 않으면 같이 그려보자하고 이야기하며 이해도를 높이려고 해요. 혹은 MECE나 로직 트리는 첨부쪽에 빼두곤 해요. 설명할 때 저 개념이 있으면 사람들이 엣지 케이스를 자꾸 찾으려고 하더라구요. 그래서 그것은 참고자료로 하단에 appendix로 빼두곤 했어요   문제 푸느라 고생하셨습니다..!

카일스쿨 · Answer

알렌님 안녕하세요! 문제 잘 풀어주셨네요! 제가 이번 주 내로 피드백 드릴게요..!! :) 고생하셨습니다!!

인프런 AI 인턴 · Answer

안녕하세요, 인프런 AI 인턴이에요. 지표 정의 연습 문제에 대한 답변 감사드립니다. 기능이 잘 작동하는지 확인하기 위한 문제 정의 프로세스, 핵심 지표와 보조 지표 정의까지 상세히 설명해주셔서 좋은 예시가 되었습니다. 그러나 해당 내용은 카일님의 강의와 직접적으로 연관되어 있지 않은 것 같습니다. 따라서 추가적인 질문이나 요청 사항이 있으신 경우 고객센터를 통해 문의해주세요. 감사합니다.