인프런 커뮤니티 질문&답변

안녕하세요! 문제 푸느라 고생하셨습니다!

#1. 기능이 잘 동작하고 있는지 확인하려면?
배달 서비스를 담당하는 PM입니다. 배너 영역, 메뉴 카테고리, 이런 음식 어때요, 동네 맛집 기능이 잘 동작하고 있는지 확인하려면 어떤 지표를 확인해야 할까요? 지표를 정의하고, 지표가 어떤식으로 움직이면 잘 동작한다고 볼 수 있을까요?

각 기능의 목적을 생각한 뒤, 목적을 달성하고 있는지를 파악할 수 있는 지표로 설정했습니다.

목적

• 배너: 이벤트 등 홍보하기 위한 기능

• 메뉴 카테고리: 사용자가 어떤 음식을 먹을 지는 정해진 상황. 어떤 가게에서 먹을지를 도와주는 기능

• 이런 음식 어때요 & 동네 맛집 기능: 어떤 음식을 먹을지 고민하는 상황에서 추천해주는 기능

지표 - 배너

• 메인 지표: CTR(배너 카테고리 클릭/home UV)

   

사람들이 관심을 많이 가지는지를 파악하기 위해 CTR을 설정하겠습니다.

지표 - 메뉴 카테고리

• 메인 지표: CTR(메뉴 카테고리 클릭/home UV),

  CVR(food_detaul 카트 담기 버튼 클릭 수/메뉴 카테고리 클릭 수)

사람들이 메뉴 카테고리를 많이 사용하는지 파악하기 위해 CTR을, 실제로 가게를 선택해 주문까지 이어지는지 보기 위해 주문 담기 버튼 클릭 CVR을 설정했습니다. 메뉴 카테고리의 목적이 음식은 정해졌지만 어떤 가게에서 먹을지 고민인 사람을 도와준다고 생각했기에 실제 가게를 선택해 주문이 발생하는지 파악해야 된다고 생각했기 때문입니다.

지표- 이런 음식 어때요 & 동네 맛집 기능

• 메인 지표: CTR(각 기능 클릭/home UV), CVR(food_detaul 카트 담기 버튼 클릭 수/각 기능 클릭 수)

유저가 해당 기능에 관심을 가지는지를 파악하기 위해 CTR을, 추천이 주문으로 이어지는지 파악하기 위해 CVR을 설정했습니다.

피드백 : 목적 고민하신 부분 잘하셨습니다! 목적을 작성하고 고민하면 더 좋은 지표를 선택할 수 있어요.

지금 1번 문제에서는 같은 지표인데 분자에 다른 것이 들어간다고 보시면 될 것 같아요. 그래서 같은 지표로 볼 수 있고, 같은 지표여야 비교가 가능합니다. 예를 들어 배너와 메뉴카테고리 중 어떤 것이 더 많은 사람들이 반응하냐? 라는 질문이 온다면 같은 지표를 사용해야 가능하지요.

배너에서든 배너의 특징에 따라 CVR이 어려울 수 있어서 지금 하신대로 해도 괜찮고, 배너의 타입별로 CVR이 나올 수 있는 것과 아닌 것을 구분해서 생각해보셔도 좋을 것 같아요.

CTR, CVR 중에 메인 지표를 무엇으로 할지 고민하는 것도 필요합니다. 두 지표 중 어떤 것을 제일 중요한 지표로 보시겠어요?

#2. 검색 만족도 지표

배달 서비스를 담당하는 PM입니다. 고객이 검색 기능에 만족했는지 확인하려면 어떤 지표를 봐야 할까요? 검색하는 흐름을 떠올려보면서 그 안에 있는 이벤트를 조합해보세요.

목적

사용자가 원하던 메뉴, 매장을 정확하게 찾아주거나 제안하는 것이 기능의 목적이라고 생각했습니다.

지표

• 메인 지표: search_result 페이지 -> restaurant CTR(restaurant 1번 이상 클릭수/search_result UV)

• 보조 지표: search → cart CVR, search_result 상위 10개 restaurant CTR

search_result 페이지에서 실제 가게를 구체적으로 보는 것을 목적 달성으로 봤습니다. 추가로 검색한 결과가 주문으로 이어저야 된다고 생각해 cart로의 CVR을, 검색이 정확하면 검색 결과 상위 10개 내에서 클릭되었을 것이라 생각해 보조 지표를 설정했습니다.

문제를 풀면서 검색 기능에서 cart로의 CVR을 같이 봐야 할 지가 고민이었습니다. 전 검색이 주문에 도움이 되어야 제대로 작동한다고 생각해서 포함시켰는데, 카일님의 의견을 여쭙고 싶습니다!

피드백 : 잘 작성해주셨어요. 다만 보조 지표에 search_result 상위 10개 restaurant CTR이 애매합니다. 이 지표는 메인 지표와 비례할 것 같아요. 굳이 필요하지 않을 것 같아요.
이 지표를 생각한 이유가 추천 알고리즘의 성능 지표 관점으로 생각하셔서 그런 것 같은데, 이런 상황엔 제품의 지표와 모델의 지표를 나누면 됩니다. 제품의 지표는 정의하신대로 쓰고, 모델의 성능 지표는 이미 정의가 되어있는 경우가 많습니다
https://techblog.musinsa.com/map-416b5f143943

이런 글을 보면 지금 궁금해하셨던 내용에 대한 지표를 볼 수 있을 거예요.

밑에 질문주신 내용은 검색 기능이 검색을 잘 작동하는 것을 기대하면서도 매출 견인에 도움이 되면 좋기 때문에 저도 CVR을 추가할 것 같아요. 다만 검색 퍼널 관점에서 CVR의 지표 상승/하락의 변동이 크지 않을 수 있음을 인지해야 합니다.

#3. 검색 필터 기능의 활성화 지표

배달 서비스를 담당하는 PM입니다. 검색 필터 기능은 잘 사용되고 있을까요? 필터 기능의 활성화 지표를 정의하면 어떻게 할 수 있을까요? 검색 필터를 사용하는 흐름을 떠올려보면서 그 안에 있는 이벤트를 조합해보세요

목적

• 필터 기능의 목적을 잘 달성하고 있는지

• search_result 화면에서 사용자가 얼마나 쓰는지

지표

• 메인 지표: 필터 사용 안한 경우의 restaurant CTR <<< 필터 사용한 경우의 restarurant CTR(가게 클릭 수/필터 적용된 화면 UV) , 필터 기능 사용률(필터 적용된 화면 UV/search_result UV)

피드백 : 여기선 메인 지표가 무엇인지 헷갈리네요. <<<은 어떤 의미인가요? 더 잘 정리해서 표시하면 좋을 것 같아요.
예)
메인 지표
- 1) 필터 클릭 CTR = (분자)/(분모)
보조 지표
- 1)
- 2)

이런 식으로 정리하면 더 좋을 것 같아요. 지금은 헷갈리네요. 그리고 각 지표를 선택한 이유도 같이 넣어주시면 좋습니다.

지표를 CTR/CVR로 많이 생각하시는 것 같은데(실제로 많이 쓰이는 것은 맞아요) 필터 기능의 목적은 필터링이 잘 되었는가?라서 필터 사용률을 보면 됩니다. 필터의 각 버튼이 얼마나 클릭되고 있는지, 그 비율은 얼마나 되는지를 확인하는 것이 좋습니다.
검색 필터의 기능 자체는 해당 기능을 얼마냐 쓰는가?로 확인할 수 있다고 생각해주시면 됩니다.

#4. 배달 서비스에서 가장 중요한 지표는?

배달 서비스를 담당하는 PM입니다. 배달 서비스에서 가장 중요한 지표는 무엇일까요? 왜 그 지표가 중요할까요? 그것을 어떻게 늘릴 수(줄일 수) 있을까요?

목적

• 고객이 배달 주문을 하는 것.

지표

• 메인 지표: 주간 주문수

• 보조 지표: WAU, 주문 CVR(order_success UV/home UV), 주간 재주문율

결국 고객이 배달을 시켰을 때 플랫폼의 목적이 달성된다고 생각해 메인 지표를 주문수로 설정했고, 배달 특성상 매일 사용하는 것보다는 주별로 사용한다고 생각해서 기간을 7일로 설정했습니다.

주간 주문수 = WAU * 주문 전환율이라고 생각해서 보조 지표를 설정했고, 유저 경험이 만족스러웠는지를 파악하기 위해 재주문율을 추가로 설정했습니다.

피드백 : 주간 주문수를 더 자세히 생각해보면, 주문 요청 이벤트가 있고 실제로 배달을 받은 이벤트가 있습니다. 단순히 주간 주문수라고 할 수도 있지만, 회사의 DB상에는 주문 요청하고 주문 상태 status가 "배달 완료"인 것만 봐서 지표를 구할 거예요. 이 주문수라는 것도 구체적으로 정의하는 것이 필요합니다(만약 배달 기사님이 없으면 주문이 실패하는 것이니!)

WAU나 주문 CVR은 왜 추가를 했는지도 써보시면 좋을 것 같아요! 물론 이 지표들은 이해가 됩니다. 다만 주간 재주문율이라는 것은 정의를 구체적으로 해보는 것이 좋을 것 같아요.

26년 1주차에 쓴 사람이 2주차에 또 쓴 경우 재주문에 포함되나요? 혹은 전주엔 주문을 안하고 1달 전에 주문한 사람은 재주문율에 포함되나요? 재주문, 리텐션 같은 지표가 정의하기에 따라 다양하게 해석이 되기 때문에 정의까지 작성해주셔야 좋아요.

#5. 추천 알고리즘의 성능 지표

여러분은 이커머스 서비스에서 추천 알고리즘을 만드는 조직의 PO입니다. 추천 알고리즘은 유저의 정보와 유저 로그를 토대로 구매할 것 같은 제품을 보여줍니다. 추천 알고리즘의 성능을 확인하기 위해 어떤 지표를 파악해야 할까요? 왜 해당 지표일까요?

목적

• 추천 알고리즘으로 구매 허들을 낮춘다.

지표

• 핵심 지표: 일반 상품 구매 전환율 <<< 알고리즘 상품 구매 전환율

• 보조 지표: 일반 상품 리뷰 평점 <<< 알고리즘 상품 리뷰 평점

추천 상품이 매력적이었는지를 판단하기 위해 알고리즘 추천 상품이 일반 상품보다 구매 전환율이 높은지 파악하려고 합니다. 또한 추천 상품이 실제로 만족스러웠는지 파악하기 위해 리뷰 평점도 같이 확인하겠습니다.

피드백 : 여기서도 <<<가 나오네요. <<<라는 기호를 쓰시려고 하면 기호가 어떤 의미인지 명시를 해야 합니다. 추가 설명을 하시려고 쓴 것인지, 이 지표가 더 커야한다는 것인지 이해가 되지 않습니다(추가 설명을 해야하는 순간 그 지표 정의는 누구나 쉽게 이해할 수준으로 되지 않았다는 것을 의미하는 것 같아요)

위에 검색과 유사하게 추천 시스템도 알고리즘 관점의 지표가 있습니다. 이건 검색을 한번 해보면 좋겠다는 바람에 넣은 문제에요.

https://sungkee-book.tistory.com/11

#6. 여러분들이 자주 사용하는 서비스의 지표

여러분들이 자주 사용하는 서비스에서 제일 중요한 지표는 무엇일까요? 왜 해당 지표가 제일 중요할까요? 그 외에 확인해야 하는 지표를 2개 더 뽑는다면 무엇이 있을까요?

지표 - 당근

• 핵심 지표: DAU(활성화 기준: 앱 접속)

• 보조 지표: 평균 체류 시간, 월 평균 거래액

플랫폼이고, 메인 BM이 광고인 점을 고려해 얼마나 많은 사람들이 앱에서 활동하는지가 가장 중요하다고 생각했습니다. 또한 당근페이로 추가 수익을 창출한다는 점과 앱 내에서 거래가 중고 거래, 로컬 비즈니스 등의 기능의 활동을 파악할 수 있어서 월 평균 거래액을 설정했습니다.

핵심 지표는 해당 서비스를 왜 사용하는가?에 대해서 이야기를 할 수 있어야 하는데, DAU는 후행 지표입니다. 그래서 저라면 핵심 지표로 DAU를 선택하진 않을 것 같아요. 물론 DAU를 쓸 수는 있는데, 더 쪼개서 중고거래를 신청한 수 또는 중고거래 페이지에서 어떤 이벤트를 한 수 같이 특정 카테고리의 지표까지 같이 볼 것 같아요. 중고거래의 User 수, 동네생활의 User 수 이런 지표들을 토대로 당근 전체의 DAU가 나오게 되겠지요. 핵심 지표는 Input 지표로 삼는 것을 추천해요.
월 평균 거래액이라고 한 것도 어떤 의미인지 중요한데, 당근페이로 거래한 것을 의미할까요? 당근에서 만원에 올린거 네고해서 8천원으로 바뀌면 그건 거래액을 8천원으로 해야 할까요? 일반적으로 DB에 Transaction이 일어나야 거래액으로 포함하는데 당근은 플랫폼 역할을 해서 거래를 직접 DB에 넣진 않아요. 이 부분도 고민해보시면 좋을 것 같아요.

#7. 퍼널 개선 프로젝트

여러분들은 가입 퍼널을 개선하라는 미션을 받았습니다. 현재 가입 퍼널 프로세스의 전환율은 약 20%며 가입 퍼널에서 온보딩을 더 진행하는 기능을 만들었습니다. 온보딩의 효과를 파악하려면 어떤 지표를 봐야할까요? 상상이 어렵다면 여러분들이 자주 사용하는 서비스를 가정하고 말씀하셔도 좋습니다

일반적인 커머스를 가정하고 생각해봤습니다.

목적

• 회원가입을 유도한다.

• 서비스에 대한 기대를 만든다.

• 서비스의 핵심 기능을 경험한다.

지표

• 회원가입 전환율

• 첫 주문 전환율(회원가입 후 2주 이내 첫 구매자 수/회원가입 수)

피드백 : 지표는 잘 정의해주셨고, 이 문제는 실험에 대한 감을 기르기 위해 낸 문제입니다. 실험 파트를 보신 후 다시 이 문제를 보시면 이해가 가실 거예요!!

문제 푸느라 고생하셨습니다!

안녕하세요. 제가 답변이 늦어지고 있어서 미리 답변을 달아요. 내일까지 꼭 피드백 드릴게요!!

안녕하세요, 인프런 AI 인턴입니다.
chefamy23님, 질문 주셔서 감사합니다!

제안을 공유해주신 지표 정의에 대해 피드백 드리겠습니다.

1. 기능의 작동 여부 확인

강의 내용을 잘 적용하신 것 같습니다. 다양한 기능의 목적에 맞는 지표(CTR, CVR)를 잘 정의하셨고, 각 기능별로 사람들이 관심을 가지는지, 실제로 서비스를 사용하는지를 파악하려는 의도가 밝혀져 좋습니다.

2. 검색 만족도 지표

search_result 페이지에서의 행동을 중심으로 잘 설계하셨고, 서브 지표로 클릭률과 주문 전환율을 포함하여 검색이 온전히 주문으로 이어지는지를 확인하려는 계획이 적절합니다. 검색의 목적에 맞게 설정하신 것 같습니다.

3. 검색 필터 기능 활성화

사용자 행동에 기반하여 필터 사용 여부와 그 효과를 중심으로 지표를 설정한 점이 좋습니다. 필터가 실제로 사용되는지를 효과적으로 파악할 수 있는 지표로 보입니다.

4. 배달 서비스에서 가장 중요한 지표

배달 플랫폼의 주요 목표를 잘 파악하고 설정한 지표로 보입니다. 작동 주기가 주간 단위로 설정된 점과, 재주문율까지 고려한 부분이 인상적입니다.

5. 추천 알고리즘의 성능 지표

구매 전환율을 통해 추천 알고리즘의 효과를 측정하려는 시도가 적절하며, 사용자 리뷰를 통해 품질에 대한 피드백을 추가로 얻으려는 점도 잘 설정하셨습니다.

6. 자주 사용하는 서비스의 지표

일상적인 사용성을 고려하여 서비스의 성공 지표를 설정한 점이 좋은 접근입니다. 앱의 주 수익 모델까지 고려하며 다양한 측면에서 평가할 수 있는 설정이네요.

7. 퍼널 개선 프로젝트

온보딩의 효과를 회원가입 전환율과 첫 주문 전환율로 평가하려는 시도가 적절합니다. 풀어가려는 목표와 지표가 맞아떨어지는 좋은 설정입니다.

전체적으로 강의를 바탕으로 다양한 지표를 상황에 맞게 잘 선택하신 것 같습니다. 앞으로도 더욱 심층적인 분석과 데이터 기반 결정을 통해 팀의 성과를 극대화하시기를 바랍니다. 도움이 필요하시면 언제든지 질문 주세요! 감사합니다.

추가적인 참고가 필요하다면 아래 URL을 확인해 보세요.
- Monitoring and Metering
- Consumer Group Monitoring