4-8. 지표 정의하기 연습문제

안녕하세요! 지표 정의하기 연습문제를 풀어봤습니다. 피드백해주시면 학습을 이어가는 데 도움이 될 것 같습니다 😀

#1. 기능이 잘 동작하고 있는지 확인하려면

배너 영역

1) 목적 정의: 배너 영역을 통해 사용자가 배너의 상세 페이지로 유입되는가?

2) 지표 정의: 배너아이템별 클릭률(CTR) = 배너아이템별 클릭수 / 홈 화면 조회수

3) 멘탈 시뮬레이션

CTR ⬆: 사용자의 흥미를 끌어 배너 클릭을 유도했다는 가설이 검증되므로 '배너 상세 페이지'의 목적을 달성하는지(a. 쿠폰 다운로드 b. 매장상세페이지 조회 c. 추천 상품 구매 등)를 파악하기 위한 이후 액션을 결정 → 예상 지표: 배너의 목표 액션 전환율(CVR) = 배너페이지 내 a or b or c 액션 수/배너 클릭수

CTR ⬇: 사용자가 배너 영역에 대한 충분한 유인을 얻지 못했다고 판단하고 UX/UI 혹은 컨텐츠를 개선할 방안을 찾는 액션을 결정

UX/UI: 배너의 개수, 배너의 크기, 배너당 지속 시간

컨텐츠: 카피라이팅, 이미지 퀄리티

메뉴 카테고리

1) 목적 정의: 메뉴 카테고리를 통해 사용자가 상품 목록 페이지로 유입되는가?

2) 지표 정의

Main: 메뉴카테고리별 클릭률(CTR) = 메뉴카테고리별 클릭수 / 홈 화면 조회수

Sub: 메뉴 상품 목록 페이지 체류시간(Duration Time)

3) 멘탈 시뮬레이션

CTR ⬆, Duration Time 5초 미만: 메뉴 카테고리에 대해 기대하는 상품 목록이 아닐 경우 체류시간이 많이 짧을 수 있으므로 이후 메뉴 분류 변경과 같은 액션 결정

CTR ⬇: 상품 사용자가 메뉴 아이템을 클릭할 유인이 부족했으므로 배너와 마찬가지로 UX/UI 측면을 고려하거나, 특정 메뉴의 클릭률만 낮다면 해당 메뉴의 사용자 세그먼트별 클릭률, 시간별 클릭률을 파악하여 유지 여부 결정

이런 음식 어때요

1) 목적 정의: 이런 음식 어때요 영역을 사용하여 사용자가 상품 상세 페이지로 유입되는가?

2) 지표 정의: 이런 음식 어때요 상품 클릭률(CTR) = 이런 음식 어때요 상품 클릭수 / 홈 화면 조회수

3) 멘탈 시뮬레이션

CTR ⬆: 사용자가 추천을 통해 상품 상세 페이지 조회까지 유도했다는 가설이 검증되므로 상품 주문 전환율을 분석해 이후 액션을 결정 → 지표: 상품 주문 전환율(CVR) = 이런 음식 어때요로 진입한 사용자의 상품 주문수 / 이런 음식 어때요 상품 클릭수

CTR ⬇: 추천 기능의 성능 문제인지 판단하기 위해 가로 스크롤 이벤트를 발생시킨 사용자의 클릭 전환율(CVR)과 발생시키지 않은 사용자의 클릭 전환율(CVR)을 분석 → 1. 스크롤 이벤트를 발생시키지 않았는데 클릭 전환율이 높다면 상위 추천 항목 노출 성능이 유효하다고 판단 → 2. 스크롤 이벤트를 발생시켰는데 클릭 전환율이 낮다면 추천 성능이 유효하지 않다고 판단

동네 맛집

1) 목적 정의: 동네 맛집 영역을 통해 사용자가 매장의 상세 페이지로 유입되는가?

2) 지표 정의: 매장 카드 클릭률(CTR) = 매장 카드 클릭수 / 홈 화면 조회수

3) 멘탈 시뮬레이션

CTR ⬆: 이런 음식 어때요 기능과 유사하게 상품 주문 전환율을 고려하여 다른 조건과의 비교를 통한 후속 액션 도출 (검색을 통한, 메뉴를 통한, 배너를 통한, 이런 음식 어때요를 통한 CVR과 비교) → 지표: 상품 주문 전환율(CVR)= 동네 맛집으로 진입한 사용자의 상품 주문수 / 동네 맛집 카드 클릭수

CTR ⬇: 내용 측면에서 동네의 범위가 적절한지, UX/UI의 측면에서 불편함이 있는지 검증하는 후속 액션 수행

#2. 검색 만족도 지표

1) 문제 정의: 검색 기능을 통해 선호도가 높은 상품을 발견할 수 있는가?

2) 지표 정의: 스크롤 깊이별 클릭률(CTR) = 최종 스크롤 깊이가 얕을수록 가중치 * 클릭수 / 검색 결과 페이지 조회수

만족도를 정의하기 위해 반대로 검색에 불만족해 문제의식을 가지는 경우, 상세페이지를 조회할 정도로 관심이 있는 상품을 발견하기까지 스크롤을 많이 하거나 시간이 몇 분이상 소요되는 경우를 떠올릴 수 있습니다.

좋은 상품이 많아 어떤 것을 클릭할지 고민하는 시간이 길 수 있기 때문에 체류시간은 비례하기 어렵지만 스크롤 깊이가 깊다면 상단에 원하는 검색 결과가 노출되지 않았다고 유추할 수 있기 때문에 더 실험효과가 좋은 지표라고 생각합니다.

3) 멘탈 시뮬레이션

CTR ⬇: 사용자별 개인 구매 데이터를 통한 알고리즘 고도화

#3. 검색 필터 기능의 활성화 지표

1) 문제 정의: 사용자는 검색 필터 기능을 적극적으로 활용해 원하는 결과를 조회하는가?

2) 활성화 지표 정의

메인 지표: 검색 필터 기준별 클릭률(CTR) = 기준별 검색 필터 내 '적용하기' 버튼을 클릭한 사용자 수 / 검색하기 액션을 한 사용자수

서브 지표: 검색 필터 기준별 검색결과 조회 전환율(CVR) = 검색 결과 가게 클릭수 / 검색 필터 적용수

메인 지표로 검색 필터가 얼마나 '많이' 사용되고 있는지, 서브 지표로 검색 필터가 '잘' 사용되고 있는지 판단합니다.

3) 멘탈 시뮬레이션

CTR⬆ CVR⬇: 검색 필터 자체의 사용률은 높으나 검색 필터의 결과가 사용자의 마음에 들지 않는다는 판단을 할 수 있다. 기준별로 검색 필터가 적용된 결과 데이터의 적합성을 판단해 데이터 라벨링 및 정렬 가중치 등을 개선한다.

CTR⬇ CVR⬆: 검색 필터의 UI를 변경해야 할 수 있다. 검색 필터 내 UI별 클릭률을 통해 후속 액션을 결정한다. 너무 작거나 다른 버튼과 차별화되지 않아 사용자의 눈에 띄지 않거나 '적용하기'를 누르기까지 필터 내부의 사용자 동선을 개선한다.

#4. 배달 서비스에서 가장 중요한 지표

1) 목적 정의

비즈니스 관점: 소비자의 주문건을 증가시켜 매출을 증대시킬 수 있을까?

이유) 배달 서비스의 Revenue Stream은 광고 수익, 배달 대행 수수료, 결제 수수료이므로 결제건을 증가시켜야 광고, 결제 수수료를 통한 수수료를 증대시킬 수 있다.

사용자(가게, 판매자) 관점: 소비자의 주문건을 증가시켜 플랫폼을 통해 얻는 주문 매출을 증대시킬 수 있을까?

2) 지표 정의

메인지표: 기간별 주문건수

서브지표: 기간별 주문전환율(CVR) = 총 주문 수 / 서비스 총 방문자 수

이유) 배달 서비스 플랫폼과 판매자 모두에게 필요한 소비자의 최종 행동은 '주문'이기 때문이다.

3) 멘탈 시뮬레이션: 어떻게 하면 기간별 주문건수를 증가시킬 수 있을까?

서비스 사용성 관점: 주문에 이르기까지 활성화, 리텐션 퍼널별 전환율을 증가시킨다.

마케팅 관점: 최초의 퍼널인 유입을 증가시킨다.

#5. 추천 알고리즘의 성능 지표

1) 문제 정의: 알고리즘이 순위기반으로 추천한 상품에 만족할까?

2) 지표 정의: MAP

사용자가 원하는 아이템을 얼마나 상위권에 올려 놓는지 평가: 1000개의 추천리스트에 사용자가 원하는 상품이 있는 것과 10개의 추천리스트에 사용자가 원하는 상품이 있는 것은 확연히 다르다. 따라서 추천시스템에서는 precision과 recall을 precision@k, recall@k와 같이 상위 k개의 추천에 대한 평가지표로 표현한다.

precision@k = K 개 내의 추천 항목 중 유관 항목의 수 / K 개 내의 추천 항목 수

예측한 것중에 정답의 비율

recall@k = (K 개 내의 추천 항목 중 유관 항목의 수) / (전체 유관 항목 수)

찾아야 할 것중에 실제로 찾은 비율

추천리스트 내의 rank에 따른 평가: K개의 추천리스트에서 순위도 중요하다. 사용자가 원하는 상품을 첫 번째로 보여 주는 것이 10 번째로 보여 주는 것보다 좋은 평가를 받아야 한다.

→MAP(Mean Average Precision): precision@k에서 k를 점점 늘려가며 얻게되는 precision score를 평균내고 User별 전체 평균을 낸다

6. 자주 사용하는 서비스 'Duolingo'의 지표

1) 문제 정의: 더 많은 사용자가 서비스에 만족하여 구독 서비스에 가입할 수 있을까?

듀오링고는 수익의 70%를 '슈퍼 듀오링고'라는 서비스 구독료로부터 얻는다. 이미 활성사용자를 충분히 확보한 상태에서 플랫폼 입장에서 현재 가장 중요한 문제는 더 많은 구독자를 만드는 일일 것이다.

2) 지표 정의

메인 지표: 구독 서비스 결제 전환율(CVR) = 구독서비스 결제 수 / 서비스 방문자 수

그 외 지표: 연속 학습 리텐션, 이탈율

활성사용자수를 유지하지 위해 사용자가 결제까지 도달하지 않고 이탈하는 이유를 판단하거나 지속적으로 연속 학습을 이어갈 수 있는 유인을 마련하기 위한 보조 지표를 측정한다.

7. 퍼널 개선 프로젝트

1) 문제 정의: 가입 퍼널에 온보딩을 진행함으로서 가입자를 증가시킬 수 있을까?

2) 지표 정의:

가입 전환율(CVR) = 회원가입 수 / 온보딩 진행 완료 수

일별 리텐션: 온보딩 과정 삽입 이전 대비 삽입 이후, 회원가입 완료자의 일별 서비스 유지율

이유) 온보딩을 진행함으로써 1. 회원가입까지 완료하여 서비스를 이용하고 싶어지는지, 2. 실제로 서비스의 가치가 홍보되어 회원가입 이후 서비스 이용이 지속되는지 두 가지 가설을 확인해 기대효과가 충족되는지 확인한다.