인프런 커뮤니티 질문&답변

연습 문제 #1. 기능이 잘 동작하고 있는지 확인하려면?

당신은 배달 서비스를 담당하는 PM입니다.

Q1. 배너 영역, 메뉴 카테고리, 이런 음식 어때요, 동네 맛집 기능이 잘 동작하고 있는지 확인하려면 어떤 지표를 확인해야 할까요?

• 기본적으로 현재 스크린 내에서 해당 컴포넌트가 잘 기능하는지 보기 위해서는 해당 컴포넌트의 CTR( = Click 수 / View 수 )을 볼 수 있습니다.

• 다만 배너(광고), 메뉴 영역과 다르게 ‘이런 음식 어때요’, ‘동네 맛집’ 컴포넌트는 개인화, 추천 의도가 있는 것으로 보입니다. 이 경우 보조 지표로 주문전환율( = 주문까지 완료한 수 / 클릭 세션 수 )를 본다면 추천 알고리즘이나 컨텐츠의 품질까지 판단할 수 있을 것입니다.

Q2. 지표를 정의하고, 지표가 어떤 식으로 움직이면 잘 동작한다고 볼 수 있을까요?

• 개별 컴포넌트 레벨에서는 CTR이 높아질수록 해당 기능이 잘 작동한다고 볼 수 있습니다.

• 다만 스크린 내 구성요소들 전체의 클릭 비중을 보며 테스트해 홈 화면을 더 최적화할 수 있을 것입니다. 예를 들면, 배너 영역의 CTR이 높으나 주문전환율(매출 발생)이 낮고, ‘이런 음식 어때요?’은 CTR이 낮으나 주문전환율이 높다면, ‘이런 음식 어때요?’ 컴포넌트를 상위로 올리는 테스트를 해볼 것입니다.

연습 문제 #2. 검색 만족도 지표

당신은 배달 서비스를 담당하는 PM입니다.

Q1. 고객이 검색 기능에 만족했는지 확인 하려면 어떤 지표를 봐야 할까요? 검색하는 흐름을 떠올려보면서 그 안 에 있는 이벤트를 조합해보세요.

• 우선 검색을 시행한 유저의 이후 퍼널을 (검색 → 상품 상세 페이지 → 장바구니 → 결제 → 주문완료)라고 가정하겠습니다.

• 주요 지표: 검색 결과 컨텐츠 CTR

  검색의 가장 중요한 기능은 유저를 그가 찾고 있는 가장 이상적인 상품으로 보내주는 것입니다. 검색 결과로 유저가 찾는 것을 보여주었다면 유저는 그 상품을 클릭했을 가정 하에 검색 결과의 CTR을 가장 중요한 주요 지표로 보겠습니다.

• 보조 지표 1: 주문전환율 (검색 이후 퍼널에서 주문 완료된 비율)

  유저가 검색을 하는 이유는 지금 주문하고 싶은 음식을 찾기 위해서 입니다. 따라서 검색을 실행한 세션이 이탈 없이 주문 완료 퍼널까지 진행되었다면 유저의 구매 의사가 있는, 유저가 원하는 결과를 제대로 보여주었다고 판단할 수 있습니다.

  다만 이 경우, 제품 상세 컨텐츠, 장바구니, 결제 과정 등 검색과 주문 사이에 여러 퍼널이 존재하기 때문에 직접적인 영향력은 작을 수 있어 보조 지표로 두었습니다.

• 보조 지표 2: 재검색 비율 (검색 결과 페이지에서 다시 검색을 실행한 비율) & 재검색 횟수

  검색 결과 페이지에서 다음 퍼널 단계로 넘어가지 못하고 이탈(컨텐츠를 클릭 하지 않음)한다는 것은 검색 결과가 마음에 들지 않았다는 뜻으로 보입니다. 이탈 경로로 다시 검색을 한 유저는 검색에 대한 니즈가 강하나 검색 결과에 만족하지 못했다는 것이며, 따라서 재검색율은 검색 품질의 문제를 보여줄 수 있을 것입니다.

  다만 일반적으로 검색 수에 비해 재검색은 매우 적을 것으로 판단되며 큰 임팩트를 가져오는 개선을 만들어내기는 어려울 것 같아 보조지표로 두었습니다.

연습 문제 #3. 검색 필터 기능의 활성화 지표

당신은 배달 서비스를 담당하는 PM입니다.

Q1. 검색 필터 기능은 잘 사용되고 있을까요? 필터 기능의 활성화 지표를 정의하면 어떻게 할 수 있을까요? 검색 필터를 사용하는 흐름을 떠올려보면서 그 안에 있는 이벤트를 조합해보세요

• 필터의 활성화 지표는 필터 사용률(필터 적용 수 / 검색 수)로 볼 수 있을 것입니다. 필터 적용은 컴포넌트 클릭보다는 필터링 된 리스트를 보낼 때 1회로 체크하는 것이 정확할 듯 합니다.

• 필터 내부의 개별 항목들(ex. 가격, 카테고리 등)이 얼마나 클릭 되었는지 전체 클릭 수의 비중을 보고 필터 순서를 최적화할 수 있을 것입니다.

연습 문제 #4. 배달 서비스에서 가장 중요한 지표는?

당신은 배달 서비스를 담당하는 PM입니다.

Q1. 배달 서비스에서 가장 중요한 지표는 무엇일까요?

• 배달 서비스에서 가장 중요한 지표는 주문 완료율입니다.

Q2. 왜 그 지표가 중요할까요?

• 배달 서비스를 사용하는 유저들의 궁극적인 과업은 음식을 주문하는 것이기 때문입니다. 배달 서비스는 그 과정에서 생기는 ‘사러 가기 귀찮다.’, ‘음식점 고르기가 어렵다.’ 등의 문제를 해결해줌으로써 유저의 목적 달성을 돕습니다. 유저가 음식을 주문했다는 것은 그러한 문제들을 해결하고 궁극적인 목표를 달성했다는 것입니다.

Q3. 그것을 어떻게 늘릴 수(줄일 수) 있을까요?

• (서비스 실행 → 검색 & 카테고리 탐색 → 상세 페이지 → 장바구니 → 결제 → 주문 완료)이라는 퍼널을 가정하고 주문부터 역순으로 퍼널 이탈율을 보며 기능적인 개선점을 찾아보겠습니다.

  1. 장바구니 → 결제 → 주문: 결제 단계를 최대한 간소화합니다.

  2. 상세 페이지 → 장바구니: 상세 정보와 리뷰 등 판단 기준을 제공해 유저의 선택을 돕습니다. 유저가 주문할 메뉴를 선택하고 장바구니에 넣는 UX를 직관적으로 만듭니다.

  3. 탐색 → 상세 페이지: 유저가 원하는 탐색 플로우(검색이든, 메뉴든)마다 컨텐츠 CVR을 최적화하겠습니다.

연습 문제 #5. 추천 알고리즘의 성능 지표

여러분은 이커머스 서비스에서 추천 알고리즘을 만드는 조직의 PO입니다. 추천 알고리즘은 유저의 정보와 유저 로그를 토대로 구매할 것 같은 제품을 보여줍니다.

Q1. 추천 알고리즘의 성능을 확인하기 위해 어떤 지표를 파악해야 할까요?

• CTR (추천 컨텐츠 클릭 수 / View 수)

Q2. 왜 해당 지표일까요?

• 추천 컴포넌트에 노출된 유저에게 적절한 상품을 추천해주었다면 유저는 그 상품을 클릭했을 것입니다. 또한 여러 페이지 별 추천 컴포넌트 간의 CTR을 비교하거나 한 페이지 내에서 위치에 따른 추천 컴포넌트 간의 CTR 변화를 비교함으로써 UX 측면의 개선점도 찾아낼 수 있습니다.

• 보조 지표로 추천 컨텐츠를 클릭한 세션이 구매 완료 퍼널까지 도달하는 비율(구매 전환율)을 본다면 더 큰 임팩트를 만들어낼 수 있을 것입니다.

연습 문제 #6. 여러분들이 자주 사용하는 서비스의 지표

Q1. 여러분들이 자주 사용하는 서비스에서 제일 중요한 지표는 무엇일까요? 왜 해당 지표 가 제일 중요할까요?

• 요즘 듀오링고를 매일 사용하고 있습니다. 듀오링고에서 가장 중요한 지표는 D-1 리텐션입니다. 듀오링고는 매일 사용을 유도하며 습관 형성과 반복적인 학습을 통해 사용자의 언어 실력을 발전시키는 것을 목표로 하고 있습니다. 따라서 D-1 retention을 북극성 지표로 잡는다면 서비스 전체의 방향성을 강화할 수 있을 것입니다.

Q2. 그 외에 확인해야 하는 지표를 2개 더 뽑는다면 무엇이 있을까요?

• Engagement Time: 기본적으로 유저들의 매일 사용을 유도한다면, 그 이후에는 매일 얼마나 많은 시간을 사용하는지가 중요합니다. 다만 실질적인 개발 과정에서는 engagement time을 증가시킬 수 있는 input metric들을 활용해야할 것입니다.

• 구독(구매) 전환율: 모든 비즈니스는 매출을 발생시켜야하며 듀오링고의 주요 비즈니스 모델은 무료로 습관 형성 → 구독(구매)입니다. 따라서 유저의 구독 전환율을 본다면 비즈니스 모델이 얼마나 잘 작동하고 있는지 판단할 수 있습니다.

연습 문제 #7. 퍼널 개선 프로젝트

여러분들은 가입 퍼널을 개선하라는 미션을 받았습니다. 현재 가입 퍼널 프로세스의 전환율은 약 20%며 가입 퍼널에서 온보딩을 더 진행하는 기능을 만들었습니다.

Q1. 온보딩의 효과를 파악하려면 어떤 지표를 봐야할까요? 상상이 어렵다면 여러분들이 자주 사용하는 서비스를 가정하고 말씀하셔도 좋습니다

• 온보딩의 목표는 처음 서비스를 접한 유저에게 서비스의 사용 방법을 학습시키고 결과적으로는 서비스를 잘 사용하게 만드는 것입니다. 따라서 온보딩이 효과적으로 이뤄졌다면 유저는 activate될 것입니다. 따라서 유저의 activation 비율을 보는 것이 온보딩의 효과를 파악하는데 가장 좋은 지표일 것입니다.