지표 정의 연습문제.
연습 문제 #1. 기능이 잘 동작하고 있는지 확인하려면?
당신은 배달 서비스를 담당하는 PM입니다.
Q1. 배너 영역, 메뉴 카테고리, 이런 음식 어때요, 동네 맛집 기능이 잘 동작하고 있는지 확인하려면 어떤 지표를 확인해야 할까요?
기본적으로 현재 스크린 내에서 해당 컴포넌트가 잘 기능하는지 보기 위해서는 해당 컴포넌트의 CTR( = Click 수 / View 수 )을 볼 수 있습니다.
다만 배너(광고), 메뉴 영역과 다르게 ‘이런 음식 어때요’, ‘동네 맛집’ 컴포넌트는 개인화, 추천 의도가 있는 것으로 보입니다. 이 경우 보조 지표로 주문전환율( = 주문까지 완료한 수 / 클릭 세션 수 )를 본다면 추천 알고리즘이나 컨텐츠의 품질까지 판단할 수 있을 것입니다.
Q2. 지표를 정의하고, 지표가 어떤 식으로 움직이면 잘 동작한다고 볼 수 있을까요?
개별 컴포넌트 레벨에서는 CTR이 높아질수록 해당 기능이 잘 작동한다고 볼 수 있습니다.
다만 스크린 내 구성요소들 전체의 클릭 비중을 보며 테스트해 홈 화면을 더 최적화할 수 있을 것입니다. 예를 들면, 배너 영역의 CTR이 높으나 주문전환율(매출 발생)이 낮고, ‘이런 음식 어때요?’은 CTR이 낮으나 주문전환율이 높다면, ‘이런 음식 어때요?’ 컴포넌트를 상위로 올리는 테스트를 해볼 것입니다.
연습 문제 #2. 검색 만족도 지표
당신은 배달 서비스를 담당하는 PM입니다.
Q1. 고객이 검색 기능에 만족했는지 확인 하려면 어떤 지표를 봐야 할까요? 검색하는 흐름을 떠올려보면서 그 안 에 있는 이벤트를 조합해보세요.
우선 검색을 시행한 유저의 이후 퍼널을 (검색 → 상품 상세 페이지 → 장바구니 → 결제 → 주문완료)라고 가정하겠습니다.
주요 지표: 검색 결과 컨텐츠 CTR
검색의 가장 중요한 기능은 유저를 그가 찾고 있는 가장 이상적인 상품으로 보내주는 것입니다. 검색 결과로 유저가 찾는 것을 보여주었다면 유저는 그 상품을 클릭했을 가정 하에 검색 결과의 CTR을 가장 중요한 주요 지표로 보겠습니다.
보조 지표 1: 주문전환율 (검색 이후 퍼널에서 주문 완료된 비율)
유저가 검색을 하는 이유는 지금 주문하고 싶은 음식을 찾기 위해서 입니다. 따라서 검색을 실행한 세션이 이탈 없이 주문 완료 퍼널까지 진행되었다면 유저의 구매 의사가 있는, 유저가 원하는 결과를 제대로 보여주었다고 판단할 수 있습니다.
다만 이 경우, 제품 상세 컨텐츠, 장바구니, 결제 과정 등 검색과 주문 사이에 여러 퍼널이 존재하기 때문에 직접적인 영향력은 작을 수 있어 보조 지표로 두었습니다.
보조 지표 2: 재검색 비율 (검색 결과 페이지에서 다시 검색을 실행한 비율) & 재검색 횟수
검색 결과 페이지에서 다음 퍼널 단계로 넘어가지 못하고 이탈(컨텐츠를 클릭 하지 않음)한다는 것은 검색 결과가 마음에 들지 않았다는 뜻으로 보입니다. 이탈 경로로 다시 검색을 한 유저는 검색에 대한 니즈가 강하나 검색 결과에 만족하지 못했다는 것이며, 따라서 재검색율은 검색 품질의 문제를 보여줄 수 있을 것입니다.
다만 일반적으로 검색 수에 비해 재검색은 매우 적을 것으로 판단되며 큰 임팩트를 가져오는 개선을 만들어내기는 어려울 것 같아 보조지표로 두었습니다.
연습 문제 #3. 검색 필터 기능의 활성화 지표
당신은 배달 서비스를 담당하는 PM입니다.
Q1. 검색 필터 기능은 잘 사용되고 있을까요? 필터 기능의 활성화 지표를 정의하면 어떻게 할 수 있을까요? 검색 필터를 사용하는 흐름을 떠올려보면서 그 안에 있는 이벤트를 조합해보세요
필터의 활성화 지표는 필터 사용률(필터 적용 수 / 검색 수)로 볼 수 있을 것입니다. 필터 적용은 컴포넌트 클릭보다는 필터링 된 리스트를 보낼 때 1회로 체크하는 것이 정확할 듯 합니다.
필터 내부의 개별 항목들(ex. 가격, 카테고리 등)이 얼마나 클릭 되었는지 전체 클릭 수의 비중을 보고 필터 순서를 최적화할 수 있을 것입니다.
연습 문제 #4. 배달 서비스에서 가장 중요한 지표는?
당신은 배달 서비스를 담당하는 PM입니다.
Q1. 배달 서비스에서 가장 중요한 지표는 무엇일까요?
배달 서비스에서 가장 중요한 지표는 주문 완료율입니다.
Q2. 왜 그 지표가 중요할까요?
배달 서비스를 사용하는 유저들의 궁극적인 과업은 음식을 주문하는 것이기 때문입니다. 배달 서비스는 그 과정에서 생기는 ‘사러 가기 귀찮다.’, ‘음식점 고르기가 어렵다.’ 등의 문제를 해결해줌으로써 유저의 목적 달성을 돕습니다. 유저가 음식을 주문했다는 것은 그러한 문제들을 해결하고 궁극적인 목표를 달성했다는 것입니다.
Q3. 그것을 어떻게 늘릴 수(줄일 수) 있을까요?
(서비스 실행 → 검색 & 카테고리 탐색 → 상세 페이지 → 장바구니 → 결제 → 주문 완료)이라는 퍼널을 가정하고 주문부터 역순으로 퍼널 이탈율을 보며 기능적인 개선점을 찾아보겠습니다.
장바구니 → 결제 → 주문: 결제 단계를 최대한 간소화합니다.
상세 페이지 → 장바구니: 상세 정보와 리뷰 등 판단 기준을 제공해 유저의 선택을 돕습니다. 유저가 주문할 메뉴를 선택하고 장바구니에 넣는 UX를 직관적으로 만듭니다.
탐색 → 상세 페이지: 유저가 원하는 탐색 플로우(검색이든, 메뉴든)마다 컨텐츠 CVR을 최적화하겠습니다.
연습 문제 #5. 추천 알고리즘의 성능 지표
여러분은 이커머스 서비스에서 추천 알고리즘을 만드는 조직의 PO입니다. 추천 알고리즘은 유저의 정보와 유저 로그를 토대로 구매할 것 같은 제품을 보여줍니다.
Q1. 추천 알고리즘의 성능을 확인하기 위해 어떤 지표를 파악해야 할까요?
CTR (추천 컨텐츠 클릭 수 / View 수)
Q2. 왜 해당 지표일까요?
추천 컴포넌트에 노출된 유저에게 적절한 상품을 추천해주었다면 유저는 그 상품을 클릭했을 것입니다. 또한 여러 페이지 별 추천 컴포넌트 간의 CTR을 비교하거나 한 페이지 내에서 위치에 따른 추천 컴포넌트 간의 CTR 변화를 비교함으로써 UX 측면의 개선점도 찾아낼 수 있습니다.
보조 지표로 추천 컨텐츠를 클릭한 세션이 구매 완료 퍼널까지 도달하는 비율(구매 전환율)을 본다면 더 큰 임팩트를 만들어낼 수 있을 것입니다.
연습 문제 #6. 여러분들이 자주 사용하는 서비스의 지표
Q1. 여러분들이 자주 사용하는 서비스에서 제일 중요한 지표는 무엇일까요? 왜 해당 지표 가 제일 중요할까요?
요즘 듀오링고를 매일 사용하고 있습니다. 듀오링고에서 가장 중요한 지표는 D-1 리텐션입니다. 듀오링고는 매일 사용을 유도하며 습관 형성과 반복적인 학습을 통해 사용자의 언어 실력을 발전시키는 것을 목표로 하고 있습니다. 따라서 D-1 retention을 북극성 지표로 잡는다면 서비스 전체의 방향성을 강화할 수 있을 것입니다.
Q2. 그 외에 확인해야 하는 지표를 2개 더 뽑는다면 무엇이 있을까요?
Engagement Time: 기본적으로 유저들의 매일 사용을 유도한다면, 그 이후에는 매일 얼마나 많은 시간을 사용하는지가 중요합니다. 다만 실질적인 개발 과정에서는 engagement time을 증가시킬 수 있는 input metric들을 활용해야할 것입니다.
구독(구매) 전환율: 모든 비즈니스는 매출을 발생시켜야하며 듀오링고의 주요 비즈니스 모델은 무료로 습관 형성 → 구독(구매)입니다. 따라서 유저의 구독 전환율을 본다면 비즈니스 모델이 얼마나 잘 작동하고 있는지 판단할 수 있습니다.
연습 문제 #7. 퍼널 개선 프로젝트
여러분들은 가입 퍼널을 개선하라는 미션을 받았습니다. 현재 가입 퍼널 프로세스의 전환율은 약 20%며 가입 퍼널에서 온보딩을 더 진행하는 기능을 만들었습니다.
Q1. 온보딩의 효과를 파악하려면 어떤 지표를 봐야할까요? 상상이 어렵다면 여러분들이 자주 사용하는 서비스를 가정하고 말씀하셔도 좋습니다
온보딩의 목표는 처음 서비스를 접한 유저에게 서비스의 사용 방법을 학습시키고 결과적으로는 서비스를 잘 사용하게 만드는 것입니다. 따라서 온보딩이 효과적으로 이뤄졌다면 유저는 activate될 것입니다. 따라서 유저의 activation 비율을 보는 것이 온보딩의 효과를 파악하는데 가장 좋은 지표일 것입니다.
답변 2
1
YamaguchiJohnson님 안녕하세요. 문제 푸느라 고생하셨습니다!
1번.
문제에 대해서 잘 고민해주셨네요. 지표 정의할 때 분자와 분모로 잘 작성해주셨네요. 좋은 습관이에요..!
회사라고 하면 저는 지표 정의에 Bold까지 설정해둘 것 같네요. 또는 문장 시작할 때 지표 이름을 쓰고 그 후에 줄글을 쓰는 방식도 활용해볼 것 같아요.
예)
컴포넌트 별 CTR : 컴포넌트의 클릭 수 / Home 화면의 View 수 (작성해주신 것을 조금 더 구체적으로 작성했어요)
기본적으로 현재 스크린 내에서 ~
CTR/ CVR을 생각했는데 이 부분을 떠올려 주셔서 감사합니다!
2번
2번도 잘 생각해주셨네요. 검색 흐름을 생각해보신 것도 넘 잘하셨습니다!
지표에 재검색 비율이 있는데, 만약 검색 페이지에 들어간 후에, 검색 결과에서 다시 검색하지 않고 홈으로 갔다가 다시 검색한 경우엔 재검색으로 봐야할까요? 말아야 할까요?
저는 동일한 세션 내에서 같은 키워드나 유사 키워드를 사용하면 재검색으로 볼 것 같네요.
추가로 검색이나 추천은 알고리즘 관점의 지표도 있습니다. 아래 내용도 참고해보셔도 좋을 것 같아요!
3번
3번도 잘 생각해주셨네요. 말씀하신 필터링 된 리스트를 보낼 때 하는 것도 방법이고, 컴포넌트 클릭을 보는 것도 방법일 것 같아요. 목표에 따라서 지표가 달라질 수 있을 것 같네요. 컴포넌트 클릭을 반복해서 검색 필터를 걸었다가 해제하면 어떻게 판단할 것인가? 이런 문제를 풀 때는 세부적인 내용이 필요할 수 있을 것 같구요
4번
주문 완료율로 잘 정의해주셨네요. 제품의 핵심 비즈니스 모델과 관련된 지표네요. 이 지표는 어떻게 보면 Output 지표일 수 있는데, 이걸 쪼개서 보면 Input 지표로 표현할 수 있을 것 같아요.
배달이 완료된 건 / 주문 요청 수
주문 요청 수가 분모에 있지만 이것은 줄일 수는 없으므로 분모도 늘리면서, 분자는 분모보다 더 늘릴 수 있다면 임팩트가 클 수도 있을 것 같아요.
3번에 과정을 나누시고 생각하신 것도 👍👍
5번.
CTR을 쓰면서 동시에 CVR까지 보면 실제로 구매까지 하는지를 확인할 수 있어요.
그 외에 알고리즘 관점으론 아래 글을 참고해보시면 좋을 것 같아요
6번
듀오링고의 경우 Daily 서비스라 해당 지표가 중요한 Output 지표 중 하나일 것 같네요. 요것을 조금 더 Input 지표로 생각해보면 어떤 것으로 생각해볼 수 있을까요?
Engagement Time이나 구독 전환율도 중요한 지표고 회사에서 파악하고 있을 것 같네요.
제가 여기서 물어본 의도는 제품이 해결하려는 문제랑 결이 맞는 지표는 무엇일까?를 아시면 좋겠다입니다. 제품의 해결하려는 문제에서 지표를 만들면 그 지표로 Action을 하기 수월하더라구요
7번
말씀하신 activate는 어떻게 정의를 해야할까요? activate 정의가 추상적일 수 있어서 질문드려요
이 문제는 추후에 있을 AB Test 내용을 들으신 후에 고민하시면 더 명확할 것 같아요!
문제 푸시느라 고생하셨습니다!
1
안녕하세요, 인프런 AI 인턴입니다. YamaguchiJohnson님.
지표 정의 연습 문제에 대한 고민과 분석을 잘 해주셨습니다. 각 질문의 핵심을 짚으려는 의도가 잘 드러나 있으며, 지표를 설정하고 평가하는 과정에서의 깊이 있는 분석이 돋보입니다. 관련된 강의 자료 및 피드백을 통해 더 나은 이해와 학습이 될 수 있도록 몇 가지 참고 자료와 관련된 피드백을 드리겠습니다.
연습 문제 #1
기능이 잘 동작하는지 확인하는 방법:
기능이 잘 동작하는지 확인하기 위한 주요 지표로 CTR을 설정한 부분은 적절합니다. 특히, 개인화 또는 추천 요소가 있는 기능에 주문전환율을 보조 지표로 사용하려는 전략은 중요한 관점을 잘 담고 있습니다. 아래와 같은 기존의 답변들과 비교해 보시면 더욱 구체적인 지표 설정이 가능합니다.
- 4-8. 지표 정의 연습 문제(꼭 풀어보세요!) - 7문제: 여기에서는 각기 다른 기능을 평가하기 위한 다양한 지표 설정과 그 활용 방법에 대한 피드백을 제공합니다.
연습 문제 #2
검색 만족도 지표:
대체로 검색의 CTR과 함께 주문전환율, 재검색 비율을 보조 지표로 사용하는 논리적 접근이 인상적입니다. 유사한 사례와 실제 문제 해결 과정을 통해 더 나은 체계를 구축할 수 있을 것입니다.
- 관련 자료를 찾아보시면 유용할 것입니다. 예를 들어, 고객의 검색 기능 만족도를 측정하려는 방법에 대해 더 상세히 설명된 카일스쿨님의 피드백을 참고해 보시면 좋겠습니다.
연습 문제 #3
검색 필터 기능의 활성화:
검색 필터 기능 사용성을 평가하기 위해 필터 사용률을 지표로 설정한 방법도 좋습니다. 필터 내부 항목별 사용률 분석으로 UX를 최적화하는 전략도 적절한 방향입니다.
연습 문제 #4
배달 서비스에서 가장 중요한 지표:
주문 완료율을 가장 중요한 지표로 선정한 부분은 비즈니스 모델에 대한 깊은 이해가 반영되어 있습니다. 아래의 피드백에서는, 비즈니스 운영 관점에서 다른 지표와의 상호작용을 고려한 피드백을 확인할 수 있습니다.
연습 문제 #5
추천 알고리즘의 성능 지표:
추천 알고리즘의 성능 평가를 위한 CTR과 보조적으로 구매 전환율을 살펴보는 방법은 적절합니다. 성능 지표에 관한 기존 답변을 참조하여 더 깊은 분석을 시도해 보세요.
연습 문제 #6
자주 사용하는 서비스의 지표 설정:
듀오링고에서 D-1 리텐션을 선택한 이유와 추가 지표 설정 과정에서 서비스의 지속적인 사용을 유도하려는 전략이 인상적입니다. 다른 서비스에 대한 지표 분석 관련 자료도 추가적으로 참조하시기 바랍니다.
연습 문제 #7
퍼널 개선 프로젝트의 지표 확인:
온보딩의 성공을 평가하는 데는 activation을 지표로 삼는 것이 굉장히 논리적입니다. 실제 사례에서 적용해 봤던 기존 사용자들의 피드백과 비교하면 큰 도움이 될 것입니다.
이러한 자료들은 수강생들이 유사한 문제에 대해 어떤 접근 방식을 취했는지를 잘 보여줄 수 있으니 꼭 확인해 보시기 바랍니다. 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다.
현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏
추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.
6-7 로그설계하기 연습문제 제출/ 피드백 요청
0
32
2
4-8. 지표 정의 연습 문제
0
47
2
Tracking Plan, Taxonomy 문제풀이
0
76
1
6-7 로그설계하기 실습 제출
0
50
1
6-7 로그설계하기 연습문제 제출/ 피드백 부탁드립니다.!!
0
52
1
4-8 지표정의 연습문제
0
49
3
질문있습니다!
0
63
1
4-8 지표 정의하기 연습 문제 풀이
0
98
1
4-8 지표 정의하기 연습 문제 풀이!
0
85
2
4-8. 지표 정의 연습 문제 1번과 2번 피드백을 여쭐 수 있을까요?
0
91
2
강의 수강 목적입니다!
0
53
2
6-7. 데이터 로그설계 연습 문제 제출합니다!
0
94
3
4-8. 지표 정의 연습 문제 피드백 부탁드립니다!
0
129
3
이미 배포가 확정된 기능에 대한 ABT 진행에 대한 문의
0
90
3
4-8 지표 정의 풀이 피드백 부탁드립니다🙇♂
1
99
3
강의 목적입니다.
0
79
2
6-4 데이터 로그 설계 프로세스 강의 관련 질문
0
66
1
4-8 지표정의 문제 풀이 입니다
0
127
2
데이터 취합과 정리 어디서부터 해야할까요
0
98
2
3장 강의자료 다운로드 시, 2강이 다운로드 됩니다.
0
69
2
데이터 로그 설계 과제 작성
0
111
2
코칭 관련
0
80
2
슈퍼셋 사용이 처음이라 질문드립니다.
0
113
1
지표정의 4-8 문제풀이 입니다.
0
133
1