4-8 지표 정의 연습 문제 풀어봤습니다.

Question

안녕하세요! 카일스쿨님! 좀 고민하고 풀어봤습니다. 피드백해주시면 감사하겠습니다 ㅎㅎ     1. 기능별 사용도 측정 지표 배달 서비스 내 다양한 기능(배너, 메뉴 카테고리, 이런 음식 어때요?, 동네 맛집 등)의 성과를 확인하기 위한 주요 지표 CTR → 각 기능이 얼마나 주목을 끌었는지를 측정 → 예: 배너 클릭수 / 배너 노출수 CVR → 각 기능을 통해 실제 결제로 이어진 비율 → 예: ‘이런 음식 어때요?’를 보고 결제한 비율 기능별 매출 및 순이익 → 단순 클릭을 넘어서 실질적인 수익에 대한 기여도 확인 시간대별 클릭/전환 분석 → 메뉴 카테고리나 추천 기능이 어떤 시간대에 잘 동작하는지 파악 개인화 추천 정확도 → 사용자의 과거 행동 기반으로 추천이 얼마나 개인화되었는지 예: 평소 3시에 짜장면을 자주 주문하는 사용자가 해당 시간에 중국집 추천을 받는지 여부 로컬 기반 추천의 신뢰도 → ‘동네 맛집’의 추천 기준이 실제 동네 트래픽/주문량에 기반했는가 2. 검색 기능 만족도 지표 검색 기능에 대한 고객 만족도를 확인하기 위한 주요 지표 재검색률 → 검색 후 유사한 키워드로 다시 검색하는 비율 → 높을수록 검색결과 만족도가 낮음을 의미 검색 후 클릭률 및 클릭 후 이탈률 → 검색 결과를 클릭했는지, 클릭 후 바로 이탈했는지 → 이탈률이 높으면 검색 품질에 문제가 있을 수 있음 검색 후 장바구니 추가율 (CVR) → 검색 결과가 실제 구매로 이어졌는지 확인 정확도 기반 평가 (검색결과 일치도) → 키워드와 결과의 정합성, 예: ‘치킨’ 검색 시 상위에 리뷰/배달비 기준의 적절한 가게가 노출되었는지 3. 검색 필터 기능 성과 지표 검색 필터 사용 활성화 및 성과를 측정하는 방법 필터 사용률 → 검색 유저 중 필터 기능을 사용한 비율 필터 사용 시 CVR 변화 → 필터 사용 전/후 구매 전환율 비교 필터별 클릭률 및 장바구니 추가율 → 예: ‘배달비 낮음’ 필터 사용 시 어떤 가게들이 클릭되었는가 4. 배달 서비스에서 가장 중요한 지표 배달 서비스의 전반적 성과를 확인하기 위한 핵심 지표 가맹점 가입률 → 플랫폼 규모 확대의 핵심 주문 건수 (배달 트래픽) → 실제 수익을 좌우하는 트래픽 지표 장바구니 담기 비율 → 구매 의사 형성의 선행지표 배달 취소율 (가드레일 지표) → 낮을수록 고객 경험 품질이 높다는 지표 배달 시간 / 고객 후기 품질 → 배달 품질 및 고객 만족도를 반영 5. 추천 알고리즘 성능 지표 추천 알고리즘이 잘 동작하고 있는지를 판단하기 위한 핵심 지표 CTR (추천 상품 클릭률) → 추천 상품이 사용자 관심을 얼마나 끌었는지 CVR (추천→구매 전환율) → 추천 결과가 구매로 이어졌는지 카테고리 적합성 → 사용자 속성(성별, 나이 등)에 맞는 추천을 했는지 → 예: 여성 사용자에게 남성옷 추천 빈도 낮아야 함 스크롤 뎁스 / 노출시간 → 추천 섹션이 얼마나 오래, 깊이 탐색되었는지 유사 사용자와의 교차 추천 성과 → 나와 비슷한 사용자가 좋아한 상품이 효과적인가? 6. 여러분들이 자주 사용하는 서비스의 지표 서비스 1: 똑똑보카 (영어 학습 + 앱테크 서비스) 1. 가장 중요한 지표: 광고 클릭률 정의: 메인화면 또는 퀴즈 중간에 노출된 광고 대비 실제 클릭 비율 이유: 똑똑보카의 수익모델(BM)은 광고 기반이며, 광고 클릭이 곧 수익으로 연결되므로 가장 핵심적인 지표 2. 추가로 확인해야 할 지표 광고 유지율 → 광고 유입 흐름 중 계속 유지 비율 → 광고 시청 시작 후 강제 종료하거나 앱을 나가버리는 비율로, 사용자 경험 저하나 보상 설계 문제를 점검할 수 있음 연속 학습률 → 사용자가 며칠 연속으로 학습에 참여했는지를 나타내는 지표 → 영어 학습 앱으로서의 핵심 가치(지속적 학습)를 반영하며, DAU보다 질적인 사용자 유지 관리를 측정할 수 있음 서비스 2: 유튜브 (유튜브 프리미엄으로 생각해보기) 1. 가장 중요한 지표: 유튜브 프리미엄 가입률 정의: 전체 사용자 중 유튜브 프리미엄에 가입한 비율 이유: 유튜브의 수익원 중 광고 외 안정적인 구독 기반 수익을 의미하며, 장기적인 수익성과 만족도를 반영 2. 추가로 확인해야 할 지표 프리미엄 해지율 → 프리미엄 가입 후 일정 기간 내 해지하는 비율 → 사용자가 프리미엄에 만족하지 않았다는 신호로, 서비스 개선에 필요한 인사이트 제공 추천 동영상 클릭률 → 유튜브가 메인화면, 사이드바, 자동재생 등을 통해 추천한 동영상의 클릭 비율 → 유튜브의 핵심 경쟁력인 추천 알고리즘 성능을 확인할 수 있는 핵심 지표 7. 퍼널 개선 프로젝트 문제 현재 가입 퍼널의 전환율이 약 20%로 낮은 상태입니다. 이를 개선하기 위해 온보딩 기능을 퍼널 안에 추가 했으며, 온보딩이 가입 전환에 어떤 영향을 주는지 파악하고자 합니다. 제안 아이디어 온보딩을 가입 후가 아닌 가입 전으로 배치하는 전략 대부분의 서비스는 ‘가입 → 온보딩’ 흐름을 따르지만, 오히려 ‘온보딩 → 가입’ 흐름이 사용자에게 서비스에 대한 확신을 줄 수 있다 고 판단합니다. 예를 들어 일부 모바일 게임은 닉네임만 정하고 바로 체험을 시작하게 한 후, 일정 시점에 가입을 유도합니다. 사용자가 실제 서비스를 경험한 뒤에 가입을 유도하는 방식 은 전환율을 높이는 데 효과적일 수 있습니다. 온보딩 효과 측정을 위한 핵심 지표 온보딩 완료 후 가입 전환율 온보딩을 완료한 사용자 중 가입까지 이어진 비율 온보딩이 실제 가입 의사 형성에 도움이 되었는지를 측정 온보딩 이탈률 온보딩 도중 앱을 종료하거나 더 이상 진행하지 않은 비율 온보딩 자체의 UX 문제나 피로도를 진단 가입 전 체류 시간 / 페이지 뎁스 가입 전에 사용자가 체험한 화면 수, 머무른 시간 온보딩 체험이 몰입감을 주고 있는지를 간접적으로 측정 A/B 테스트: 기존 퍼널 vs 온보딩 우선 퍼널 두 버전을 나눠 퍼널 전환율을 비교 실험 온보딩 전략 변경이 실제 전환율 개선으로 이어지는지 검증 결론 온보딩을 먼저 제공하면 사용자는 서비스를 직접 체험해볼 수 있고, 그로 인해 “이 정도면 가입해볼 만하네”라는 확신을 갖고 자연스럽게 전환 될 수 있습니다. 따라서 기존의 ‘가입 → 온보딩’ 패턴 대신, ‘온보딩 → 가입’ 흐름을 실험해보고 그 효과를 위 지표들로 측정하는 것이 전략적으로 유의미 합니다.

카일스쿨 · Answer

준혁님 안녕하세요. 이번 주에 데이터야놀자 컨퍼런스 발표를 준비하느라 늦어지고 있네요. 기다리고 계실까봐 먼저 말씀드려요. 제출해주신 내용에 대한 피드백은 5일 내로 드릴게요!

카일스쿨 · Answer

준혁님 안녕하세요. 문제 푸시느라 고생하셨어요. 하나 하나에 대해 말씀드릴게요   1. 기능별 사용도 측정 지표 여기서 여러 지표를 제시해주셨는데, 지표를 사용할 때는 여러 지표를 나열하는 것보다 제일 중요하게 볼 Focus 지표는 뭐고, 그 다음에 볼 Secondary 지표는 뭐다 이런 식으로 해주시면 더 좋아요. 왜냐하면 지금 지표들이 많아서 어떤 것들이 더 중요하게 볼지가 나타나지 않기 때문이에요 또한 CTR, CVR 에 대해서는 분자와 분모를 항상 명시해주시는 것을 추천드려요. 각 기능이 얼마나 주목을 끌었는지라고 되어있는데, 그럼 누군가는 주목을 끌었다의 정의가 무엇이죠? 라고 물어볼 수 있어요. 이 때 구체적으로 해주시는 것이 더 좋아요 시간대별 클릭/전환 분석에서 전환이 무엇인지도 명시를 해주시는게 좋아요. 질문이 나올거라서 개인화 추천 정확도의 지표도 분자와 분모로 해보시면 좋을 것 같아요 로컬 기반의 추천 신뢰도에서 신뢰도 정의도 물어볼 것 같네요   위 지표에 이어서 그럼 이 지표들이 올라가거나 상승하면 어떻게 의사결정을 할지도 생각해보시면 좋을 것 같아요     2. 검색 기능 만족도 지표 2번의 경우엔 검색이나 추천 알고리즘엔 이미 지표가 있어서 살펴보시면 좋을 것 같다는 의도로 낸 문제에요 회사에선 CTR, CVR을 많이 사용하곤 하네요 재검색률의 경우 다시 검색할수록 만족도가 낮다고 볼 수도 있지만, 메뉴를 탐색하는 과정일 수도 있어요. 예를 들어 양념 치킨 -> 후라이드 치킨일 때는 만족도가 낮다기 보다는 선호가 있어서 찾는 과정이니깐요. 그래서 해석이 상황에 따라 다를 것 같아요 정확도 기반 평가가 검색 알고리즘에 이미 지표화가 되어있는데 아래 글을 참고해보시면 좋을 것 같아요 https://medium.com/naver-dna-tech-blog/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D%EC%9D%84-%ED%99%9C%EC%9A%A9%ED%95%9C-%EA%B2%80%EC%83%89-%ED%92%88%EC%A7%88-%EC%A7%80%ED%91%9C-%EA%B0%9C%EB%B0%9C-sigir23-paper-recap-6090914005a8   3. 검색 필터 기능 성과 지표 말씀해주신 지표들을 다 사용할 수 있을 것 같아요. 다만 여기서 필터에 세부 속성이 여러가지가 있어요. 세부 속성별로 많이 쓰는 것이 무엇인지 알아봐야 한다면 어떻게 데이터를 보시겠어요? 그리고 특정 세부 속성이 압도적으로 지표가 높다면 어떻게 해석하시겠어요?   4. 배달 서비스에서 가장 중요한 지표 말씀하신 지표들에서 제일 중요한 지표는 무엇일까요? 지표에 대해 떠올리는 것은 다 잘하셔서 추가적으로 질문드려요 이런 문제에서는 비즈니스 모델에 기반해서 지표를 만들면 도움이 됩니다 https://lumosbusiness.com/business-model-canvas-food-delivery-apps/ https://www.excellentwebworld.com/food-delivery-business-model/ 위 링크들을 보시면서 비즈니스의 핵심을 기반으로 지표를 만드시면 되어요 말씀하신 주문 건수, 가맹점 가입률이 각각 수요 사이드, 공급(가게) 사이드고 추가적으로 배달 라이더의 수도 중요합니다. 배달을 할 사람들이 있어야 하니깐요   5. 추천 알고리즘 성능 지표 말씀해주신 내용들이 대부분 추천 알고리즘에서 나오는 지표들이에요. 알고리즘 개발할 때 사용하는 지표들을 찾아보시고 명칭도 알아두시면 좋을 것 같아요 https://sungkee-book.tistory.com/11   6. 여러분들이 자주 사용하는 서비스의 지표 서비스 1: 똑똑보카 (영어 학습 + 앱테크 서비스) 말씀해주신 중요한 지표는 Output 지표(매출) 앞단에 있는 광고 클릭률로 해주신 것 같아요 저라면 매출 관점에서 중요한 지표는 광고 클릭률이라고 하고, 제품 자체에서 중요한 것은 영어 학습쪽에서 만들 것 같아요. 서비스가 생긴 이유가 무엇인지 생각해보면 고객들이 영어를 잘 학습하게 만드는 것이 목표였으니까, 이 목표를 해결하는 것이 중요하다 생각해요(제품 관점) 추가로 확인해야 할 지표에 연속 학습률이 제품 관점에서 고객의 문제를 해결하고 있느냐?라고 볼 수 있을 것 같고, 지속적 학습에 대해 떠올린 것도 좋네요. 요거를 대시보드나 숫자로 볼 때 어떻게 볼까? 고민해보면 좋을 것 같아요. 며칠 연속으로 참여했는가는 N일에 대한 정보가 포함되는데, 그럼 1일, 2일, 3일, 4일,... 1000일차 학습률을 다 봐야할까요? 이게 데이터 포인트가 많아진다면 어떻게 해야할까요? 한번 생각해보셔도 좋을 것 같네요 서비스 2: 유튜브 (유튜브 프리미엄으로 생각해보기) 이 부분도 매출 관점으로 생각을 하셨는데, 이 서비스가 왜 생겼는가 관점으로 먼저 고민해보시면 좋겠어요. 왜냐하면 매출 관점의 지표는 명확할 수 있거든요. 그래서 제품 관점의 핵심 지표를 고민해보시면 좋겠어요. 유튜브라고 하면 얼마나 사람들이 영상을 보고 있는가? 이거에 따라 프리미엄 가입률, 광고 수익률 모두 연관이 있을 것 같아요   문제 푸시느라 고생하셨습니다! 지표 정의를 분자와 분모로 명확히 하는 것, 그 지표가 올라가거나 내려가면 어떤 의사결정을 할 것인지, 제품이 왜 생겼는지 관점에서 데이터 고민해보기. 이 부분을 챙겨보시면 좋을 것 같아요!   문제 푸시느라 고생하셨습니다!