4-8. 지표 정의 연습 문제 답변

study님 안녕하세요! 문제를 모두 푸셨군요! 넘 고생하셨습니다. 이런 과정을 통해 생각하는 힘이 키워졌을거에요
들으시면서 궁금하신 내용은 게시판이나 디스코드에 마음껏 남겨주셔요!

문제 1. 기능이 잘 동작하고 있는지 확인하려면?

• 동작에 포커스를 둔다면 전체 뷰 수 대비 영역 별 클릭 수(CTR)를 확인해야 한다고 생각합니다!

  • 배너 CTR = 배너 영역 클릭 수 / 홈 페이지 뷰 수

  • 메뉴 카테고리 CTR = 메뉴 카테고리 클릭 수 / 홈 페이지 뷰 수

  • 이런 음식 어때요 CTR = 이런 음식 어때요 내 각 음식 영역 클릭 수 / 홈 페이지 뷰 수

  • 동네 맛집 CTR = 동네 맛집 클릭 수 / 홈 페이지 뷰수

• IF 어떤 기능을 통해 전환이 잘 일어나는지를 확인한다면

  • 각 요소 클릭 수 대비 최종 전환인 CVR을 설정할 것 같습니다.

• 질문: 배너나 이런 음식 어때요? 혹은 동네 맛집과 같이 영역이 작은 경우는 자동 롤링이 되거나 사용자가 스크롤하는 경우도 꽤 있습니다. 물론 클릭이 가장 확실한 유저 액션이지만 보수적으로 해당 기능을 사용했는지를 잡아보려면 전체 뷰 수 대비 스크롤 수도 보조 지표로 볼 수 있을까요? 사용자의 경우에는 해당 내용을 인지하고 검색을 해 볼 수 있을 거 같아서요!

분자, 분모로 정의해주신 부분 너무 잘 해주셨네요! 완벽합니다
질문 부분에 대한 제 생각
- 자동 롤링이 되거나 사용자가 스크롤하는 경우도 있는데, 자동 롤링의 경우는 사용자의 행동이 아닌 제품의 행동입니다. 그래서 고객이 "명시적으로 봤다"라는 것을 잡기가 약간 어렵긴 합니다. 그래서 노출이 되었는지에 대한 이벤트를 만들어서 보기도 합니다.
스크롤 수도 지표로 사용할 수 있긴 한데, 고민할 부분이 있습니다
- 스크롤 이벤트를 발생하는 시점은 스크롤이 시작하는 시점인가? 스크롤이 끝나는 시점인가?
- 스크롤을 할 때 얼마나 스크롤 하는지(길게, 짧게)에 따라 다르게 해석이 될 수 있는데 이 값도 같이 로깅할 것인가?
스크롤 이벤트를 가지고 무엇을 할 것이냐에 따라 정해보면 될 것 같아요. 저는 명시적인 이벤트를 선호해서 스크롤은 거의 보지 않았던 경험이 있네요(클릭을 하지 않았으면 흥미를 끌지 못했다고 가정)

문제 2. 검색 기능에 만족했는지 확인하려면

• 검색 기능에 만족을 했다면 검색을 통해 최소 1개 이상의 가게 디테일 뷰를 확인했을 것이라 가정하여 검색 페이지 뷰 대비 상세 페이지 뷰로 CVR을 사용할 것 같습니다.

  • 가게 리스트 클릭 수 (or 상세 가게 페이지 뷰 수) / 전체 검색 페이지 뷰 수

  • 위 수치를 단순 count 대신 unique로 유저수로 보는 것도 필요할 것 같습니다. 이유는 전체 사용자 중 일부 사용자가 heavy유저라면 단순 count로는 성공적으로 검색을 진행했을 것이라 판단 할 수 있을 것 같습니다. 중복을 제거한다면 전체 검색 사용자 대비 몇 %가 검색 기능을 성공적으로 사용했는지 그 비율을 확인할 수 있습니다.

말씀하신 지표로도 가능할 것 같고, 저라면 간단하게는 CTR을 볼 것 같아요. 검색 결과를 실제로 클릭했느냐로 판단하고 보조 지표로 CVR까지 볼 것 같네요!
unique로 보신다고 했던 관점은 session 단위로 데이터를 보는 것도 좋을 것 같아요!

검색 관련해서는 지표들을 찾아보면 여러가지 종류가 있답니다
https://velog.io/@mertyn88/%EA%B2%80%EC%83%89-%EB%AA%A8%EB%8D%B8-%ED%8F%89%EA%B0%80-%EC%A7%80%ED%91%9C-%EC%A2%85%EB%A5%98

위 글을 한번 참고해보시면 좋을 것 같아요! :)

• 문제 3. 검색 필터 기능의 활성화 지표

  • 검색 필터가 사용되었다는 것을 정의한다면 키워드 검색을 했거나, 정렬을 사용하거나, 둘 다 활용했을 수 있습니다. 2번 질문과 유사하게 count와 사용자 수로 CTR을 지표로 정의할 것 같습니다.

    • 돋보기 아이콘 클릭 수 or 필터 클릭 수 / 검색 페이지 뷰 수

    • 돋보기 아이콘 클릭 유저 수 or 필터 클릭 사용자 수 / 검색 페이지 뷰 사용자 수

    • 단, 아이콘 클릭 외에도 사용성을 위해 실제 배민에서는 검색어 입력을 위해 나타나는 키보드에서 엔터로도 검색이 가능하여 아이콘 클릭으로만 한정하지 않고 실제 검색이 일어났을 때 페이지 뷰 수로 보는 것이 더 맞을 것 같습니다.

말씀해주신 부분 모두 공감됩니다! 필터 기능의 활성화를 정의를 하고 그에 맞는 지표를 선정하면 되는 것이지요
배민에서 엔터로 검색이 된다고 생각하신 점도 디테일한 부분이라 좋네요. 이런 경우엔 "서버"에서 검색을 했던 로그가 있으면 활용하는 것도 방법입니다(물론 이건 클라이언트 로그가 아니라 집계할 때는 서버 로그와 클라이언트 로그를 다 사용해야 해서 복잡할 수는 있긴 하지요..!)
혹은 클라이언트에서 서버에게 검색 request를 보낼 때 클라이언트 이벤트로도 정의할 수 있습니다. 개발자와 커뮤니케이션 할 때 목적을 정확히 말씀해주시면 적절한 방법을 제시해주실거에요

문제 4. 배달 서비스에서 가장 중요한 지표는?

• 가장 주요한 하나의 지표는 매출이라고 생각합니다. 이 매출을 MECE하게 쪼개어 본다면

  • 수수료

    • 건당 수수료(매출)

    • 배달 건수

  • 광고료

  • 기타

• 여기서 가장 중요한 것은 결국 건당 수수료와 배달 건수라고 생각합니다.

  • 이유는 광고는 트래픽을 기반으로 보통 가격이 측정되기 때문에 수수료를 구성하는 두 지표를 설정한다면 트래픽을 늘리는 것 또한 포함한다고 생각합니다.

• 만약에 여기서 하나를 더 고려해야 한다면 취소나 환불을 고려하여 순 이익을 늘리기 위한 포커스를 줄 것 같습니다!

• 건당 수수료를 늘리기 위해서 한 번에 배달을 요청하는 금액이 높아야 하기 때문에 일정 금액 이상 시킬 때 할인 쿠폰을 주는 형태의 action item을 생각해볼 수 있습니다.

• 배달 건수를 늘리기 위해서는 배달 건수 자체를 늘리기 위해서 건수에 따라 리워드를 제공하는 방법이 있을 것 같고, 더 이전의 단계에서 진입을 많이 하기 위해 출석체크 이벤트 등을 진행하여 방문을 늘려 자연스럽게 배달을 많이 할 수 있도록 유도할 수 있을 것 같습니다.

매출을 MECE하게 쪼개보신 것 잘 하셨네요! 말씀해주신 매출 지표가 매우 중요하지요
다만 "배달 서비스"에서 한정해서 생각해보면 어떨까요? 매출은 모든 회사가 중요하다고 말할텐데 배달 서비스에서 비즈니스 모델을 고려해 중요하게 생각해야 하는 지표는 무엇일지 한번 생각해보시면 좋을 것 같아요!

문제 5. 추천 알고리즘 성능 지표

• 커머스라면 전체 수익 상승률과 해당 기능 세그먼트 유저의 수익을 전체 수익 대비 비율로 확인할 것 같습니다.

  • 추천 알고리즘 사용 세그먼트 매출 / 전체 매출

  • 월별 매출 상승 현황

• 또 다르게는 알고리즘 사용 세그먼트 결제 전환율이 알고리즘 비사용 세그먼트 결제 전환율에 비해 얼마나 높은지 확인할 것 같습니다.

• 결국 커머스라면 최종적인 지표는 매출일거라고 생각하여 우선 전체적인 매출이 상승하고, 그 전체 매출에서 해당 기능 사용이라는 공통점이 있는 그룹의 매출의 파이를 확인하여 효과를 확인한다고 생각했습니다

세그먼트로 생각해보는 관점 잘 작성해주셨네요!
이 문제는 "알고리즘"이란 단어가 나오면 보통 성능 평가 지표가 있을 가능성이 존재해요. 이런 것들을 검색해보길 바라는 망므에 추가했답니다.
https://velog.io/@redgem92/%EC%B6%94%EC%B2%9C%ED%99%94-%EC%8B%9C%EC%8A%A4%ED%85%9C-04.-%EC%B6%94%EC%B2%9C-%EC%8B%9C%EC%8A%A4%ED%85%9C%EC%9D%98-%ED%8F%89%EA%B0%80-%EC%A7%80%ED%91%9C

위 글에 평가 지표들이 나와있는데 한번 보셔도 좋을 것 같아요 :)

• 문제 6. 여러분들이 사용하는 서비스의 지표

  • 저는 서비스로 '브런치'를 설정하였습니다.

  • 가장 중요한 지표 → 게시글 작성 건 수

    • 플라이휠을 생각해보면 우선 게시글이 있어야 컨텐츠가 있고, 그걸 독자들에게 보여주고 많은 독자가 확인하면 또 새로운 유입을 통해 글이 늘어난다고 생각하였습니다.

  • 따라서 그 외 2개를 뽑는다면

    • 독자들의 반응을 알 수 있는 조회 수와 인터랙션을 알 수 있는 댓글/좋아요 수를 확인할 것 같습니다.

  • 또 하나 고려해야할 점은 해당 수치가 일정 수준 이상에 도달한다면 사용자수와 1인당 사용 횟수를 함께 보아 사람 수의 유입을 늘릴 것인지 1인당 활동성을 늘릴 것인지 결정할 수 있을 것 같습니다!

브런치 서비스라면 작성 건수가 중요하겠네요!
말씀해주신 내용이 수요 / 공급 관점으로 지표를 선정한 것으로 보이네요.
글을 공급하는 사람 관점으로 작성 건수, 글을 원하는 수요 입장에선 사용 횟수를 의미하겠지요
이럴 경우 얼마나 잘 매칭되는가도 중요할거에요(이렇기 때문에 많은 회사들이 커지면 추천/개인화를 하고 있답니다)

저는 하나 더 나아가서 글을 쓰려고 시도한 사람의 수도 파악해볼 것 같아요. 중간 저장 기능이 있다면 중간 저장 기능을 했던 작가님들도 COUNT하고, 그 분들이 글을 더 잘 쓸 수 있도록 도우면 지표가 상승하겠지요!

• 문제 7. 퍼널 개선 프로젝트

  • input metic의 개념으로 AB테스트를 통해서 온보딩 진행 세그먼트의 가입 퍼널 전환률과 온보딩 미진행 세그먼트의 가입 펀널 전환률을 확인할 것 같습니다.

  • AB테스트를 정한 이유는 어떤 기능의 효과를 가장 명확하게 알아보기 위해서는 모든 다른 조건은 최대한 동일하되 해당 기능만 변수가 되어야 한다고 생각했습니다.

  • 이후 output metric으로는 가입 주차별 리텐션을 파악하여 해당 온보딩을 적용한 시점 이후부터의 리텐션이 평탄 혹은 상승하는지를 확인할 수 있을 것 같습니다.

AB Test로 확인하는 것 넘 잘하셨습니다! 의도와 맞습니다
퍼널 개선 프로젝트 지표 관련해서 만약 서비스의 사용 빈도가 평균 3달이라면 리텐션이 나오는데 오래 걸릴텐데, 이럴 때는 어떻게 해야할까요? 더 빠르게 지표를 확인하고 싶다면 어떤 지표를 output metric으로 해야할까요?

문제 푸시느라 너무 고생하셨습니다! 추가 질문 있으면 언제든 남겨주셔요-!

안녕하세요, 인프런 AI 인턴이에요. 지표에 대한 답변을 드릴게요!

배너나 이런 음식 어때요? 같은 작은 영역의 경우, 클릭은 가장 명확한 사용자 액션이기 때문에 클릭 수로 해당 기능을 확인하는 것이 가장 정확합니다. 하지만 스크롤이 일어나는 경우도 있는데요, 이 경우에는 스크롤 수를 보조 지표로 활용할 수 있습니다. 스크롤 수로는 해당 기능에 대한 사용량을 정확히 파악하는 것은 어려울 수 있지만, 사용자들이 해당 영역을 얼마나 스크롤하는지를 알 수 있습니다. 이를 통해 사용자들이 해당 영역을 주목하고 있음을 알 수 있을 것입니다.

하지만 보다 정확한 분석을 위해서는 클릭 수와 스크롤 수 외에도 다른 지표들과 함께 고려하는 것이 좋아요. 예를 들어, 해당 영역을 스크롤하거나 클릭한 뒤에 실제로 얼마나 다른 페이지로 이동하는지를 파악하는 전환율(Conversion Rate)을 함께 확인할 수 있어요. 다양한 지표를 활용하여 사용자의 행동을 종합적으로 분석하면 보다 정확한 평가를 할 수 있을 것입니다.

더 궁금한 내용이 있으시면 댓글로 알려주세요! 적극적으로 도움 드리겠습니다. 감사합니다.