인프런 커뮤니티 질문&답변
작성한 질문수
4-8. 지표 정의 연습 문제
해결된 질문
작성
·
465
·
수정됨
0
안녕하세요. 유튜브에서 카일스쿨 님의 영상을 보다가
인프런 강의도 신청한 데이터분석가 취준생입니다.
강의 수강 전에, 강의에 'PM을 위한'이라는 표현이 있어, 데이터분석가에게는 적합하지 않을까 고민했었는데
들으면서 데이터분석에 대한 시야가 넓고 깊어지는 게 느껴져 대만족입니다.
데이터분석 취업준비를 하면서, 하드스킬을 올리는 데만 급급했는데 한편으론 아쉬움이 있었거든요.
실무에서 데이터분석이 어떻게 적용되는지 파악하고 싶고, 그걸 프로젝트에 녹이고 싶다는 욕심이 있었는데, 이 강의를 통해 그 부분이 해소되어 참 좋습니다ㅎㅎ 훌륭한 강의 만들어주셔서 감사합니다.
과제는 제가 객관식 시험에만 익숙한 타입이라 그런지. 좀 어렵게 느껴졌습니다.
하지만, 푸는 과정에서 강의내용을 복습하고, 지표를 비교해가며 더 깊은 공부를 할 수 있어 감사했습니다.
부족한 답이지만, 피드백 잘 부탁드립니다:)
## 1. 기능이 잘 동작하고 있는지 확인하려면?
배달 서비스를 담당하는 PM입니다. 배너 영역, 메뉴 카테고리, 이런 음식 어때요, 동네 맛집 기능이 잘 동작하고 있는지 확인하려면 어떤 지표를 확인해야 할까요?
지표를 정의하고, 지표가 어떤 식으로 움직이면 잘 동작한다고 볼 수 있을까요?
- CTR, CVR
- CTR : 노출 대비 클릭율
CVR : 페이지에 접근한 후, 특정 Component를 클릭한 비율
- CTR이 높고, CVR도 높다 : 많이 반응하고, 전환도 될 때 잘 작동한다고 볼 수 있다.
CTR이 낮지만, CVR은 높다 : 많이 반응하지 않으나, 그 중 전환은 잘 된다. -> 이 경우, 사용자가 더 많이 반응할 수 있도록 UX를 향상시킬 수 있는 방안을 강구해본다.
## 2. 검색 만족도 지표
배달 서비스를 담당하는 PM입니다. 고객이 검색 기능에 만족했는지 확인하려면 어떤 지표를 봐야 할까요?
검색하는 흐름을 떠올려보면서 그 안에 있는 이벤트를 조합해보세요.
- 퍼널 전환율을 확인해봐야 한다.
'메인화면 -> 음식점 화면 -> 음식 세부 화면 -> 장바구니 화면 -> 결제화면 -> 결제완료'로 이어지는 각 page별 전환율을 파악하면 고객이 검색기능에 만족했는지 확인할 수 있다.
## 3. 검색 필터 기능의 활성화 지표
배달 서비스를 담당하는 PM입니다. 검색필터기능은 잘 사용되고 있을까요? 필터기능의 활성화 지표를 정의하면 어떻게 할 수 있을까요?
검색 필터를 사용하는 흐름을 떠올려보면서 그 안에 있는 이벤트를 조합해보세요.
- 검색필터기능이 잘 사용되고 있는지 확인하기 위해 주문으로 이어지는 각 페이지의 CTR, CVR의 변화를 살펴봐야 한다.
예를 들어, 나는 배달의 민족앱을 사용해 치킨을 주문하고자 검색창을 열어 '치킨'을 검색했다.(특정 브랜드의 치킨을 선호하지 않는 사용자라 가정) 그런데 맨 처음 뜬 화면에 다섯개의 가게가 나오는데 그 중 4개가 치킨집이 아닌 죽, 피자, 버거, 카페가게였다. 다 광고였다. 기분이 별로다. 정렬을 확인해보니, '기본순'으로 설정되어있었다. 굳이 화면을 내려 치킨집을 찾아야하는 번거로움이 느껴졌다. '아 귀찮네...'. 그래서 정렬을 '주문 많은 순'으로 설정해보았다. 이번에도 첫 화면에 나온건 치킨 전문점이 아니라 다 파스타나 떡볶이 집들이다. 아, 정말 귀찮네. '그냥 맛있는 치킨집 좀 추천해줬으면...'하는 마음이 든다. 검색기능을 그냥 꺼버렸다.
배달의 민족 검색필터기능은 잘 설계된 것 같지 않다. 검색 시, 정확도보다 자기들 광고 노출에 더 신경을 썼다. 결국 나는 검색기능은 접고 배달의 민족 첫 화면에 '배달' 카테고리로 들어가, 거기서 치킨 아이콘을 선택해 주문을 했다.
검색필터기능이 잘 사용되고 있는지 확인하기 위한 활성화 지표로 나는 주문으로 이어지는 각 페이지의 CTR, CVR의 변화를 살펴봐야한다고 생각한다. 사용자가 만족하는 UX인 경우, CTR, CVR 모두 높게 유지될 것이다. 그러나, 나의 경우는 페이지가 전환될 때마다 결과에 실망해버렸고, 주문을 하지 않기로 하고 페이지를 이탈했다.
! 여기서 헷갈리는 점.
퍼널 전환율과 CVR(전환율)의 개념이 비슷해보여 어떻게 구별하여 쓸지 모르겠습니다. CTR, CVR을 각 페이지 단계별로 보는 게 결국은 퍼널 분석인가요?
## 4. 배달 서비스에서 가장 중요한 지표는?
배달 서비스를 담당하는 PM입니다. 배달 서비스에서 가장 중요한 지표는 무엇일까요? 왜 그 지표가 중요할까요? 그것을 어떻게 늘릴 수(줄일 수) 있을까요?
배달 서비스앱을 켰을 때, 보통 나는 특정 음식이 생각나면 앱을 켠다. 예를 들어, 떡볶이가 생각나면 앱을 틀고, '떡볶이' 아이콘을 누른다. 정렬을 '주문 많은 수'로 설정하고, 화면에 나온 떡볶이가게 중 리뷰가 100건 이상이면서 점수가 높은 가게를 클릭한다. 인기메뉴를 살펴보고, 리뷰를 살펴보면서 최신리뷰가 좋으면 거기서 주문을 한다. 주문할 때는 이미 배고파서 손이 떨릴 때이므로, 결제는 간단해야 한다. 미리 연결해놓은 네이버페이로 결제를 한다. 배달은 빠르고, 정확해야 한다. 떡볶이가 식으면 내 마음도 짜게 식고, 다른 배달앱으로 옮기고 싶기 때문이다. 보통은 2주 정도가 지나면 떡볶이 쿨타임이 차 2주마다 배달경험이 좋았던 배달앱에 들러 떡볶이를 주문한다.
- 배달 서비스에서 가장 중요한 지표는 Retention이고, 보조로 볼 지표는 Duration이라고 생각한다. 일단 배달 서비스 앱은 주문으로 이어지는 각 퍼널별 전환율이 너무 중요하다. 배고픈 상태로 앱을 켰는데, UX가 복잡하고, 엉성하면 허기로 인해 이미 인내심이 바닥인 사용자의 서비스 만족도가 훅 떨어지면서, 비교적 더 쓰기 편했던 배달앱로 이탈할 수 있다. 그래서 UX를 극대화해서 퍼널별 전환율을 유지할 수 있도록 해야한다.
또한 Duration도 확인할 필요가 있다. 나는 배달앱의 경우, 유저 리뷰를 굉장히 중요하게 본다. 특히, 최신 리뷰는 꼼꼼히 보고, 주문하는 편이다. 다른 사람도 그럴거라 생각한다. 사용자들이 리뷰를 최대한 많이 작성할 수 있도록 리뷰작성을 활성화하는 전략이 필요하다. 그래서 리뷰 페이지의 Duration도 Retention에 이어 보조지표로 확인해보면 좋겠다는 생각이 든다.
## 5. 추천 알고리즘의 성능 지표
여러분은 이커머스 서비스에서 추천 알고리즘을 만드는 조직의 PO입니다. 추천 알고리즘은 유저의 정보와 유저 로그를 토대로 구매할 것 같은 제품을 보여줍니다.
추천 알고리즘의 성능을 확인하기 위해 어떤 지표를 파악해야 할까요? 왜 해당 지표일까요?
- User Engagement 지표를 파악해야 합니다.
예를 들어, 쿠팡 앱을 켜면 첫 화면에 '자주 산 상품'과 'ooo님을 위한 재구매 추천 상품'이 뜹니다. 고양이 사료를 산지 2개월 정도 되어서, 재구매주기가 돌아왔는데 마침 쿠팡이 이 상품을 추천하여 저는 바로 클릭하고 이 제품을 구매했습니다.
앱이 켜진 순간에 사용자가 특정 상품의 구매에 관심을 사로잡히도록 만드는 게 Engagement의 핵심입니다. '자주 산 상품'과 'ooo님을 위한 재구매 추천 상품'의 CTR을 확인하며 User Engagement를 확인할 수 있을 것입니다.
! 여기서 헷갈리는 점
CTR과 CVR의 개념이 모호합니다. CTR은 단순 노출 대비 클릭율로 생각하고, CVR은 퍼널 단계별 전환율 정도로 생각하면 될까요?(다음단계로 넘어가는 비율)
## 6. 여러분들이 자주 사용하는 서비스의 지표
여러분들이 자주 사용하는 서비스에서 제일 중요한 지표는 무엇일까요? 왜 해당 지표가 제일 중요할까요? 그 외에 확인해야 하는 지표를 2개 더 뽑는다면 무엇이 있을까요?
- Cohort Retention이라고 생각합니다. 사용자 경험이 전반적으로 만족스러웠다면, 새로운 서비스를 탐색하기 보다 원래 사용했던 서비스로 가는 게 사용자들의 일반적인 성격이라고 생각합니다. 새로운 서비스로 옮기는 데, 전환비용이 발생하는 데 본래 쓰던 서비스가 만족스러웠다면 전환비용없이 원래 쓰던 서비스를 다시 쓰는 원리입니다. 그래서 우리 서비스가 사용자에게 만족스러운가에 대한 평가로 'Cohort Retention'을 살펴보고, 처음 우리 서비스에 가입하고 주마다 코호트 리텐션이 어떻게 유지되는지 확인함으로써 서비스 만족도를 가늠할 수 있습니다.
그 외에 확인해야 할 지표로는 AARRR, Funnel이 있습니다. AARRR 분석에서 각 단계의 지표를 확인함으로써 서비스의 성과가 어떻게 성장하고 있는지 다각도로 분석할 수 있습니다. 획득, 활성화, 리텐션, 수익, 추천 면에서 서비스 성과의 성장을 모두 확인할 수 있기 때문입니다. 또한 Funnel 분석을 통해 UX 만족도를 수시로 체크할 수 있기 때문에 Funnel도 보조지표로 꼭 사용되어야 합니다.
## 7. 퍼널 개선 프로젝트
여러분들은 가입 퍼널을 개선하라는 미션을 받았습니다. 현재 가입 퍼널 프로세스의 전환율은 약 20%며 가입 퍼널에서 온보딩을 더 진행하는 기능을 만들었습니다. 온보딩의 효과를 파악하려면 어떤 지표를 봐야할까요? 상상이 어렵다면 여러분들이 자주 사용하는 서비스를 가정하고 말씀하셔도 좋습니다.
- 온보딩의 효과를 파악하려면 AARRR 지표를 확인해봐야 합니다. AARRR에서 온보딩과 관련된 단계는 Acquisition, Activation, Refferal입니다. 즉, 사용자 유입, 사용자가 서비스에서 최초로 긍정적인 경험을 하는 단계, 기존 사용자의 추천으로 새로운 사용자의 유립을 유도할 수 있습니다. AARRR에서 Acquisition, Activation, Refferal 지표를 성장시킬 수 있는 실험을 하여 가입 퍼널 개선을 유도할 수 있습니다.
답변 1
0
데이터분석중딩님 안녕하세요 :)
PM을 위한 단어를 붙이긴 했지만, 신입 데이터 분석가 관점에서도 도움이 되도록 구성한 강의에요.
대만족이라고 하시니 다행이네요!
과제의 경우 어려울 수 있지만 현업에서 생각하는 것을 거의 비슷하게 재현한 것이므로, 추후에 면접을 볼 때나 일을 할 때도 도움이 될 내용일거에요(실제로 면접에서 비슷한 질문 던지는 경우를 종종 들었어요)
문제를 푸시고 공유하신 것만으로도 너무 잘하셨어요-!
## 1. 기능이 잘 동작하고 있는지 확인하려면?
CTR, CVR 관점으로 잘 접근하셨네요! CTR 높고(낮고), CVR 높은 경우에 대해 설명해주셨는데, 반대로 CTR 높고(낮고) CVR 낮은 경우는 어떻게 해야할지 고민해보셔도 좋을 것 같아요
CVR, CTR 모두 분자 분모의 형태로 지표를 정의해보시면 좋아요. 지표 A = aa/bb 이런 식으로 구체적인 이벤트를 명시해보고 정의하시면 더 도움이 될거에요
그리고 CVR의 경우는 구체적인 이름을 붙여주시면 좋아요. 단순한 전환율이 아니라 페이지 전환율, 주문 전환율 등 구체적인 이름을 붙이곤 합니다. CTR도 특정 화면의 CTR이라고 부르기도 하구요. 지표의 이름이 구체적이지 않으면 의미의 혼란이 올 수 있어요
여기서 질문 : 이중에서 배너, 메뉴 카테고리 등 다양한 영역에서 제일 중요한 것은 무엇일까요? 왜 그게 중요하다고 생각하시나요?
## 2. 검색 만족도 지표
퍼널의 전환율 개념도 볼 수 있으나, 여기서는 "검색"이라는 것의 지표에 대해 찾아보길 바라는 문제였어요
단순히 퍼널로 보면 결과에 따라 다르게 나올 수 있으니깐요
음식 이름을 검색하는 경우도 있고, 가게를 검색하는 경우 등 다양할 것 같아요
검색 지표라는 키워드로 검색하시면 여러 글이 나오는데, 무신사의 케이스를 한번 보셔도 좋을 것 같아요
퍼널의 각 전환율과 검색 품질의 지표를 같이 보는 것에 대해 생각해봐도 좋을 것 같아요.
검색의 결과가 좋지 않아서 퍼널이 낮은 경우도 있을거에요.
## 3. 검색 필터 기능의 활성화 지표
일단 검색 필터가 무엇일까 생각해보면 검색한 후에 필터링을 해주는 기능입니다
필터 기능의 활성화 지표이므로 "필터링"을 얼마나 쓰는가
필터링의 종류가 무엇이 있는가
각각이 얼마나 사용되는가(클릭하는가) -> CTR도 같이 볼 수도 있겠지요
그리고 이 필터를 사용해서 결국에 주문을 했는가, 주문 CVR을 확인할 수 있을거에요
필터링의 타입 별로 주문 CVR을 확인할 수 있지요
다만, 필터링 기능이 조금만 사용되고 있다면 비율 지표보단 절대치도 같이 보는 것이 필요합니다. 숫자가 작을 때는 비율이 확확 바뀔 수 있거든요
헷갈리는 점
퍼널 전환율, CVR의 개념이 비슷하다고 말씀하신 것은 #1에서 말씀드린 것처럼 구체적인 이름이 붙여지지 않아 헷갈릴 수 있을거에요
퍼널 전환율 = 퍼널을 정의하고 퍼널 A에서 B로 넘어갈 때의 전환을 측정한 것이라고 볼 수 있지요
퍼널이 페이지로 구분되는 경우도 있기에 퍼널의 (페이지) 전환율이라고 볼 수도 있을거에요
전환율의 경우 우리가 전환이라고 정의할 것이 어떤 것인지에 따라 이름을 다르게 붙일 수 있어요. 주문 전환율이라고 하면 그것을 통해 실제로 주문했는가를 의미하지요
검색 필터라는 기능을 사용해서 주문을 했는가? 혹은 검색 필터를 사용하지 않고 홈에서 주문했는가? 등을 파악할 수 있겠지요
퍼널 분석의 경우 퍼널을 우리가 정의하고 목적에 맞게 분석하는 과정이고, 그 중에서 전환율을 보고 얼마나 빠지는지를 파악할 수도 있어요(퍼널 분석을 무조건 전환율만 본다라고 생각하시지는 말고, 퍼널의 특정 이벤트 횟수 등도 볼 수 있다고 생각해주시면 좋을 것 같네요)
## 4. 배달 서비스에서 가장 중요한 지표는?
이 문제는 배달 서비스의 특성을 고려한 지표를 선정하길 바라는 마음에 냈던 문제에요
대부분 이런 질문에 리텐션이라는 답이 나오는데, 리텐션이 중요한 것은 맞지만 후행 지표기도 하고 서비스에 따라 사용 주기가 길면 바로 보기 어렵다는 단점이 있습니다. 또한 너무 복합적인 맥락이 담긴 지표고 Action Item을 만들기 어렵습니다(특히 앱 내의 서비스가 많다면 더 쪼개서 보는 것이 필요하지요 - 토스로 치면 토스증권의 리텐션, 토스뱅크의 리텐션)
리텐션이 중요하다라는 관점으로 가면 어떤 질문에도 기승전 리텐션이 되어서 좋지 않기도 합니다
그래서 이럴수록 선행 지표, Input Metric에 대해 생각해보면 좋습니다
이를 위해 비즈니스 모델을 확인해보는 것이 중요하고, 그 모델 안에서 매출이 얼마나 발생하는가, 그 매출은 어디서 관여되는가, 어떤 페이지의 유입인가 등 지표의 위계까지 만들어보면 좋습니다
예전에 비즈니스 모델을 어떻게 확인할지에 대한 답변을 드린 적이 있는데, 해당 내용을 공유드릴게요
## 5. 추천 알고리즘의 성능 지표
이 질문도 검색을 하면서 추가적인 정보를 습득하길 바라는 마음에 냈던 문제입니다
추천 알고리즘 같이 "알고리즘"이 붙은 것들은 대부분 지표가 논문에 나와있는 경우가 많습니다
이런 것들을 학습하시면 알고리즘 관점의 지표도 확장할 수 있을거에요
CTR과 CVR은 위에서 설명드렸고, CVR은 "전환"을 했느냐(전환이 바로 같은 페이지에 나올수도 있고 엄청 이후에 나올수도 있습니다)라고 보시면 됩니다. 페이지 전환율을 구하는 경우엔 CTR과 유사한 관점이 되며, 주문 전환율이라고 하면 CTR과 완전 다른 관점이겠지요?
## 6. 여러분들이 자주 사용하는 서비스의 지표
어떤 서비스를 자주 사용하시나요? 그 부분이 없어 궁금하네요
코호트 리텐션을 알 수 있으면 무엇을 할 수 있을까요?
말씀해주신 만족도 가늠할 수 있다는 말도 모두 맞는 말이에요. 거기에서 하나 더 그래서 Action Item을 어떻게 도출할 수 있는가가 중요합니다
1주차 코호트에서 리텐션이 많이 되었다 => 2주차에도 반영한다?
보통 주차별로 Action에서 애매한 부분도 많이 있을거에요(주차가 끝나갈 때 가입한 사람은?)
1주차에 반영했던 것이 2주차에도 반영되어 있을 수도 있구요(어떤 기능 배포 후) -> 많은 맥락이 쌓여서 해석하기 어려워질 수도 있어요
만약 서비스의 사용 주기가 2년에 1번인 제품이면 코호트를 어떻게 봐야 할까요? (예를 들어 직방에서 집을 구하는 경우)
말씀해주신 부분이 추상적인 부분이 있어서 조금 더 구체화된 생각을 만들어보시면 어떨까 싶어요
그로스해킹, 데이터 분석 책에서 AARRR, 퍼널 이야기가 나와서 인지하고 계신 부분은 잘하고 계신다고 말씀드리고 싶고, 여기서 조금 더 본질적인 생각을 추천드려요(분석 방법론에 대한 것보다)
예를 들어 강의 초반에 만족한다 = 어떤 이벤트가 발생했을 때 만족일까?라는 질문을 드리곤 했어요. 배달 서비스에서 만족은 일단 (원하는 음식을) 배달 받는 이벤트가 발생한 순간일거에요. 이게 제일 핵심적인 내용이지요. 이 부분을 기반으로 지표를 설정하고 고민하는 과정을 생각해보시면 좋을 것 같아요
면접에서 코호트 리텐션, 리텐션에 대해 말해주시는 분들이 많은데 그래서 어떤 Action을 해야할까요?라는 질문을 할 때 구체적이지 않은(약간은 추상적이라고 느낀) 답변을 받는 경우가 있어요. 취업을 준비하고 계신다고 하시니 이런 부분도 참고차 말씀드려요
## 7. 퍼널 개선 프로젝트
문제에서 나온 문구 중에 힌트가 있습니다
이 내용에서 "가입 퍼널"이라는 부분이 있어요.
가입 퍼널이 있기에, 여기서 AARRR을 파악해야 한다는 것은 조금 애매합니다(가입 퍼널로 한정했기 때문에)
만약 AARRR을 파악한다고 하더라도, 여기서 AARRR에서 Acquisition, Activation, Refferal 지표가 무엇인지 구체적으로 정의해보시면 좋을 것 같아요(=추상적인 답)
AARRR 지표라는 것보단 AARRR도 하나의 데이터를 보는 방식입니다. 이 부분도 인지하셔도 좋을 것 같아요
또한 기존 전환율은 약 20%라는 힌트를 드렸어요
기존 가입 전환율이 20%면 새로운 기능을 만들어서 이것보다 더 좋은 전환율을 받는다면 대체해도 괜찮겠지요? AB Test를 통해 할 수도 있을거에요(실험은 이후 파트에 있으니 실험을 듣고 다시 보셔도 좋을 것 같아요)
온보딩 효과라는 것에서 온보딩이 언제 끝나는지, 그 때 발생하는 이벤트가 무엇인지 생각하셔서 그 이벤트를 중심으로 지표를 설정해도 좋을 것 같아요
취준을 하시는 관점에서 더 생각할 수 있는 질문 위주로 공유드렸고, 더 깊은 생각을 해보시면서 구체적인 내용까지 정의하는 습관을 가지시면 더욱 좋을거에요(대부분 추상적인 답들을 공유해주시는데 그러면 면접에서 불합격 확률이 높아질거에요)
문제 푸시느라 고생하셨어요! 또 궁금한 내용이 있으면 말씀해주셔요