4-8 지표 정의하기 연습문제

좋은 생각할 내용, 자세한 피드백 감사합니다~! 강의 내용 바탕으로 더욱 더 성장할게요!

영진님 안녕하세요! 연말을 불태우면서 열심히 공부하고 계신다니 넘 멋지네요! 연습 문제 잘 푸셨네요. 예상 문제를 생각해보고 그것에 따른 지표를 만드는 것도 매우 좋은 훈련이에요. 이렇게 하다보면 일상에서도 문제를 지표로 생각할 수 있더라구요.

제가 회사에서 팀원이 이렇게 말했다고 가정하고, 어떤 피드백을 할지 생각하며 남겨보아요. 이런 질문이 올 때 어떻게 답변할까?를 미리 고민할 수 있는 과정이라고 생각해보셔도 좋을 것 같아요!

지표 정의하기 문제 1. 기능은 잘 작동이 되고 있나요…?

목적 : 지표를 통하여 고객들이 홈화면에서 자사에서 의도한 최종 목적까지 원활하게 서비스를 이용하는지 파악이 필요하다.

예상 문제 정의 :

1. 홈 화면에서 특정 기능은 너무 복잡한 UX/UI로 인해 관심도가 떨어지고, 고객에게 번거로움만 줄 것이다. 이로 인하여 고객이 이탈하게 된다.

2. 배너에서 고객이 선호하는 배너 노출이 있을 것이며, 이에 따라 CTR의 지표가 증감하며, 고객 이탈의 원인이 있을 것이다.

3. 첫 화면에서 메뉴 노출 카테고리가 고객의 선호도에 맞게 설정이 되어 있지 않다. 이로 인하여 고객이 이탈하게 된다.

지표 및 선정 사유

1. 첫 세션 방문자 기준 CTR

   1. 첫 퍼널 & 고객 선호 기능 파악을 하는 의도

2. 첫 세션 클릭이 배너/메뉴 카테고리/ 이런 음식 어때요 / 동네 맛집 기능인 고객의 방문페이지 당 전환 수/ 고객 당 전환 수

   1. 방문 페이지 당 전환이 낮을 경우 이를 통하여 전환까지의 Funnel에 문제가 있음을 발견 

      1. ex) 계속 여러 화면을 통하여 고객의 Funnel이 길어지는 현상

   2. 고객 당 전환수를 통하여 방문 페이지 당 전환수와 대비하여 Funnel 개선을 통하여 전환 수를 크게 바꿀 수 있는지를 검증

- 첫 세션의 기준에서 하루의 첫 날을 의미할까요?

- 유저의 생애 첫 세션일까요? 생애 첫 세션이라면 신규 유저라는 표현도 있을 것 같네요
- 첫 세션이 그 날의 첫 날이라고 하면 여러번 방문하는 서비스에선 어떻게 해야 할까요?
- 첫 클릭이 배너지만, 결국 메뉴 카테고리를 클릭해서 주문한 경우가 있을 수 있는데 이 경우는 어떻게 해석해야 할까요?
- 고객 당 전환수에서 전환의 정의가 작성되어 있지 않네요. 전환은 어떤 것일까요?
- 방문 페이지 당 전환수라고 해주셨는데 특정 페이지에는 전환이 직접적으로 없을 수도 있는데, CVR 개념을 활용하시는걸까요?
- 퍼널 개선을 통해 전환 수를 크게 바꿀 수 있는지를 검증 => 이 가설을 검증하기 위해선 어떤 것을 어떤 방식으로 봐야할까요?

지표 정의하기 문제 2. 검색 만족도 지표

목적 : 배달 서비스 관련하여 고객이 검색 기능에 만족을 했는지 파악하고 싶다.

예상 문제 정의 

1. 고객이 검색 기능을 통하여 원하는 음식을 빠르게 찾고, 주문을 할 수 있었다면 검색의 기능이 원활하게 작동하고 있는 것이다.

지표 및 선정 사유

1. 세션 방문 대비 고객의 검색 기능 활용 빈도 / 재활용 고객 분포

   1. 고객이 검색 기능을 통해 배달 음식을 찾아내는지 빈도를 알아낼 수 있음

2. 검색 기능을 활용한 고객 주문 전환율

   1. 최종적으로 고객의 전환이 이루어졌는지 확인할 수 있음

말씀하신 지표도 활용할 수 있고, 검색이란 알고리즘은 별도의 지표를 가지고 있습니다. 알고리즘의 경우 검색을 해보면 꽤 많은 지표가 나올거에요
대표적인 글 : https://medium.com/musinsa-tech/map-416b5f143943

어떤 것을 생각할 때 UX 관점에선 말씀해주신 것을 활용할 수도 있고, 어떤 경우엔 알고리즘의 지표를 확인해야 할 수도 있겠다는 것을 알리고자 하는 마음에 출제한 문제에요

1번에서 고객 빈도, 재활용 고객 분포 => 이것을 어떻게 활용할지까지 생각해보면 좋을 것 같아요. 재활용 고객 분포가 15%면 어떻게 해야 할까요? 35%?는? 55%는? 이런 분포를 볼 때 기준점이 중요한데 기준점은 어떻게 생각해볼 수 있을까요?
(단순히 분포만 보고 결정한다가 아닌 하나 더 깊게 생각해보면 더 문제 정의를 잘하게 되더라구요) 

지표 정의하기 문제 3. 검색 필터 기능의 활성화 지표

목적 : 고객이 검색 필터를 통하여 원하는 정보를 찾을 수 있는지 확인해보고 싶다.

예상 문제 정의 

고객이 검색 필터를 잘 활용하고 있다면, 필터 사용 이후 원하는 음식을 찾고 전환까지 진행했을 것이다.

지표 및 선정 사유

1. 고객의 필터 기능 활용 빈도

   1. 고객이 필터 기능을 통해 배달 음식을 찾아내는지 빈도를 알아낼 수 있음

2. 필터 내, 정렬 기능 별 클릭 수

   1.  고객이 어떤 기준으로 정렬을 하는지 선호도 파악을 위한 지표

고객의 필터 기능 활용 빈도에서 필터 기능은 여러가지가 존재합니다.  
이것을 다 합쳐서 필터 기능 활용이라고 정의하신걸까요?
지표를 선정할 때는 지표의 정의를 한줄로 작성하고 분자 분모까지 작성해주시는 것이 제일 좋습니다. 그러지 않으면 이렇게 정의를 물어보는 일이 발생합니다 (=커뮤니케이션 코스트 증가)

필터 내, 정렬 기능 별 클릭 수에서 클릭을 하고 실제론 비활성화를 한 경우엔 사용한걸까요? 만족하지 못해서 비활성화를 했을 가능성이 큽니다. 이 경우는 어떻게 생각하시나요? (추가적으로 설명드리면 필터의 특정 기능 클릭은 토글 같이 on/off라서 click_filter_function 이렇게 하고 파라미터로 on/off가 있을 수 있어요. 단순히 클릭 수가 아닌 파라미터도 고려해야 할 수 있지요)

지표 정의하기 문제 4. 배달 서비스에서 가장 중요한 지표는?

목적 : 배달 서비스에서 가장 중요한 지표를 찾고 싶다. 

예상 문제 정의 

1. 고객의 입장에서 100점짜리 배달서비스는 저렴한 가격/ 신속 배달 / 맛있는 음식점만 선별 되는 배달 서비스일 것이다.

2. 배달서비스에서 100점짜리 고객은 한번 구매 이후 계속해서 서비스를 이용하며 Cross-sell / Up-sell이 일어나는 고객일 것이다.

지표 및 선정 사유

1. Retention & 평균 구매 주기

   1. 고객이 지속적으로 떠나지 않고 우리 서비스를 이용하는 지, 판단

   2. 구매 주기를 통하여 Retention의 기간을 어떻게 잡아야할지 판단.

배달 서비스의 가장 중요한 지표에서 리텐션이나 구매 주기는 당연히 봐야하는 지표지만, 이 문제의 핵심은 이 비즈니스 모델에서 제일 핵심이 되는 것이 무엇인가?를 생각하게 만드는 것이 목적입니다

예상 문제 정의가 bias가 존재할 수 있는 정의라서 이것을 입증하기 위한 가설이 또 필요할 것 같네요.
예를 들어 저렴한 가격 => 저렴한 가격을 좋아하는 사람이 많을 수는 있지만 모두가 그럴까요? 맛있는 음식의 정의도 사람마다 다를 수 있지요.

2번의 배달서비스라고 하신 관점은 플랫폼의 입장인지 점주 입장인지 생각해보면 좋을 것 같아요. 배달서비스라는 것을 더 쪼갤 수 있거든요(실제로 배달 서비스는 관련된 사람들이 고객 / 배달 점주 / 배달 라이더 / 플랫폼. 이렇게 총 4개가 같이 연결된 비즈니스 모델이라 복잡한 구조에요)

배달 서비스의 본질은 주문 건수가 얼마나 되는가, 주문 건수가 제시간에 배달이 되는가가 중요하지 않을까 싶네요(제 생각) 주문이 있어야 결국 모든 사람들이 이윤을 얻을 수 있거든요. 그 과정에서 재구매하는 곳도 있고, 구매 주기도 확인하겠지요

지표 정의하기 문제 5. 추천 알고리즘의 성능 지표 

목적 : 추천 알고리즘의 성능을 나타낼 수 있는 지표를 알고 싶다.

예상 문제 정의 

1. 알고리즘이 잘 작동한다면, 고객의 전환율이 높아지고 있을 것이다.

2. 알고리즘이 잘 작동한다면, 고객의 Cross-sell/Up-sell 빈도가 높아지고 있을 것이다.

지표 및 선정 사유

1. 추천 알고리즘을 통한 주문 전환율 / Up-sell / Cross-sell 고객 비중

   1. 추천 알고리즘은 연관 제품을 통하여 Up-sell / Cross-sell을 유도하는데 목적이 있다고 판단 따라서 고객군 별 전환 차이를 통하여 효과를 검증할 수 있을 것

추천 알고리즘을 통한 Up-sell, Cross-sell의 비중이라고 해주셨는데 여기서 Up-sell은 어떤 화면에서 할 수 있나요? 이 부분까지 정의에 포함되면 좋을 것 같아요

a에는 고객군 별 전환 차이를 통하여라고 되어있어서, 고객 비중? 전환 차이? 용어가 혼재되어 있단 생각이 들어서 다시 지표를 보니까, 추천 알고리즘을 통한 주문 전환율 / Up-sell / Cross-sell 고객 비중 라는 표현이 하나의 지표라고 인지했던 것 같네요. 더 정확히 말하면
지표1 : 추천 알고리즘을 통한 주문 전환율(CVR)
지표2 : Up-sell 고객 비중
지표3 : Cross-sell 고객 비중
일까요?
혹은 지표1를 Up-sell/Cross-sell 디멘전으로 보겠다는 뜻일까요? 회사에서 레포트를 작성하듯 평소부터 이런 부분까지 신경쓰면서 문서를 작성하면 좋을 것 같아 의견을 드려요.

지표 정의하기 문제 6. 여러분들이 자주 사용하는 서비스의 지표

여기에서는 제가 가장 많이 사용하는 서비스인 토스 증권를 예시로 들겠습니다.

목적 : 토스 증권에서 가장 중요시 하는 지표를 찾아낸다

예상 문제 정의 

1. 토스 증권에서 핵심적인 수익은 주식을 팔고 사는 것에 대한 수수료이다.

2. 주식에 대한 관심도를 높이고 쉽게 거래를 할 수 있으면 거래량이 늘어날 것이다.

3. 정기적인 거래를 거래를 할 수 있다면 주식 거래 습관이 형성할 수 있을 것이다.

지표 및 선정 사유

1. 고객 당 일/월별 거래량

   1. 기본적이 고객의 주식 거래 빈도를 통해 고객군이 어떻게 형성되어 있는지 확인할 수 있다.

2. 정기 구매 주식 서비스 사용 빈도

   1. 정기적으로 습관이 형성된 고객군을 분리할 수 있으며, 서비스의 만족도가 높은 고객으로 판단할 수 있다.

3. 주식 컨텐츠 CTR 및 주식 컨텐츠를 통한 CVR

   1. 주식에 대한 관심도가 높아진 것으로 판단할 수 있으며, 콘텐츠를 통하여 주식 거래 전환을 유도할 수 있는지 판단

토스 증권에서 핵심적인 수익 전에, 토스 증권을 사용하는 고객들의 핵심을 고민해봐도 좋을 것 같아요. 그러면 주식을 팔고 사는 것이지요(이게 늘어나면 결국 수수료도 늘어나니 토스 증권에서 수익이 증가합니다)

그러면 하루에 주식을 사고 파는 건이 얼마나 되는지를 먼저 파악해보는 것(이 내용을 거래량이라고 하신 것 같네요)이 핵심 지표가 될 것이에요.

1번에서 고객군이 어떻게 형성되어 있는지 확인할 수 있으면 그 후에 무엇을 할 수 있을까요? 어떤 액션 아이템을 위해 확인해보는걸까요?

2번에서 정기적으로 습관이 형성된 고객 = 서비스 만족도가 높다고 말씀해주셨는데, 습관 형성이 되지 않은 사람은 서비스 만족도가 낮은걸까요? 1년에 1번 토스증권으로 구매하지만 한번에 최대 금액으로 매도, 매수한다고 하면? 이런 경우는 어떻게 생각해야 할까요?

문제 푸시느라 넘 고생하셨습니다. 생각할 수 있는 부분 위주로 드렸으니 한번 생각해보고 또 의견 남겨주셔요!

새해 복 많이 받으셔요 🙂

안녕하세요, 인프런 AI 인턴입니다. 영진님, 열심히 공부하시고 계신 것 같아 보기 좋습니다. 제공해주신 4-8 지표 정의하기 연습문제의 풀이를 살펴보았습니다. 기본적으로 목적에서 출발하여 이에 맞는 예상 문제를 정의하고, 그에 따른 지표와 선정 사유를 명확히 설정하신 부분은 매우 훌륭합니다.

구체적으로 다음과 같은 방식으로 접근하신 부분이 인상적입니다:
- 사용자의 서비스 경험 단계별로 목적과 문제를 세분화하고,
- 해당 단계에서 발생할 수 있는 문제점들을 예측하여,
- 실제 문제를 파악할 수 있는 지표를 정의하고,
- 각 지표의 선정 사유를 명확히 함으로써 문제를 정량화할 수 있도록 하셨습니다.

데이터 분석과 지표 설정에서는 이러한 사고 프로세스가 중요하며, 영진님께서 잘 수행하고 계신 것 같습니다. 예시로 들어주신 내용들은 각자의 서비스 혹은 제품에 적용할 때 참고할만한 좋은 기준점이 될 수 있을 것입니다.

만약 추가적인 정보나 다른 예시가 필요하시면, 언제든지 질문 주시면 도움이 될 내용을 제공해드리도록 하겠습니다.

앞으로도 공부에 열정을 가지고 지속적으로 배움의 길을 걷기를 응원하겠습니다. 감사합니다!