인프런 커뮤니티 질문&답변

카일스쿨님 피드백 감사합니다 🙂

피드백 주신 내용 확인해보니 제가 문제를 깊게 생각하지 못했던 것 같아요!

내용 참고해서 문제를 다시 풀어봤습니다.

시간 되실 때 한 번 더 확인 부탁드릴게요!

문제 1번. 기능 작동 확인

- 성공 지표 : 일 별 영역 별 버튼 랜딩 페이지의 CVR (전환율)

- 기능에 문제가 없는지 지속적인 확인을 위해 일 별 지표로 확인

- 영역 별 버튼의 랜딩된 페이지 수/영역 별 버튼 클릭 수 * 100 = 페이지 CVR (전환율)

- 영역 별로 링크가 걸려있는 버튼(배너 영역, 한식, 고기, 이런 음식은 어때요?-목록 등)을 클릭했을 때 해당 페이지로 문제없이 랜딩된 경우 잘 동작한 것으로 판단

- 버튼 클릭한 수와 랜딩된 페이지 수를 비교해서 기능이 잘 동작하고 있는지 판단할 수 있음

문제 2번. 검색 만족도 지표

* 수정 버전

- 성공 지표 : 일 별 키워드 검색 결과에서 최상위 페이지 내 제품의 CTR (클릭율)

- 검색 결과 제품 클릭 수/검색 결과 노출 수 * 100 = CTR (클릭율)

- 검색 모델이 유저에게 가치(만족)를 주고 있는지 지속적으로 확인이 필요하므로 일 별 지표를 확인

- 키워드 검색 후 최상위 페이지 내 제품을 클릭한 경우 유저가 원하는 제품이 상위에 노출된 것으로 판단

- 검색 결과에서 원하는 제품이 상위에 노출될 경우 유저의 검색 만족도가 높다고 볼 수 있음

* 레퍼런스 버전

- 성공 지표 : 시간대 별 mean Average Precision(mAP)

- 유저가 클릭한 모든 제품에 점수를 반영하며, 해당 제품 위치의 목록 정렬 순서에 따라 점수를 차등으로 줌

- 제품의 정렬이 유저의 검색 의도에 적합한지 검색 품질을 모니터링하기 위해 시간대 별 지표를 확인

- 유저 당 1개 세션에서 입력한 특정 검색어(mAP) = (A 검색어 평균 정밀도 + B 검색어 평균 정밀도) / 2

- 정밀도는 검색된 제품 중 관련 있는 제품의 비율을 뜻함

- mAP가 높을 수록 모델 성능이 좋다고 판단하므로, 유저의 검색 만족도가 높다고 볼 수 있음

문제 3번. 검색 필터 기능의 활성화 지표

- 성공 지표 : 주차 별 검색 필터의 mean Average Precision(mAP)

- 키워드 검색 후 검색 필터(기본순, 주문 많은 순, 별점 높은 순, 가까운 순 등)를 클릭했을 때 정렬되는 목록 기준으로 mAP가 높을 경우 해당 필터 기능의 성능이 좋은 것으로 판단

- 검색 필터를 비교했을 때 더 높은 mAP를 가진 검색 필터가 더 좋다고 볼 수 있음, mAP는 제품 위치의 목록 정렬 순서에 따라 점수를 차등으로 주기 때문에 유저가 원하는 제품을 빠르게 찾은 것으로 판단할 수 있음

- 필터별 성능 비교를 위해 주차 별로 데이터를 집계하여 지표를 확인

문제 4번. 배달 서비스에서 가장 중요한 지표

* 기존 버전 (피드백에서 질문 주신 내용 반영)

- 성공 지표 : 신규 유저 주문 전환율

→ 신규 유저가 주문을 한 번이라도 한 경우 주문부터 배달 수령까지 주문 여정을 경험해봤기 때문에 서비스에 대한 낯선 인식과 거부감이 낮아져서 계속 이용할 것이라고 판단

- 신규 유저가 첫 주문 후 배달 서비스에 만족할 경우 추가 주문할 확률이 높음 (핵심 가치 경험)

- 첫 주문에서 만족도를 늘리기 위해선 아래 2가지가 필요

└ 첫 주문 할인 쿠폰 제공 : 사용 기한은 최소 3일 or 7일(A/B 테스트 진행)로 정하고 짧은 시간 내에 주문을 할 수 있도록 유도

└ 배달 소요 시간 단축 : 첫 주문에서 배달 시간이 오래 걸리면 재주문 확률이 낮아짐, 첫 주문엔 무조건 다이렉트로 받아 볼 수 있도록 함

→ 지역 별 재주문 CVR (전환율)을 확인, 재주문 수/첫 주문 시 기본 배달 소요시간을 초과한 수 * 100 = 재주문 CVR (전환율)

→ 기존 유저는 DAU/MAU 지표로 서비스를 얼마나 자주 이용하는지 판단할 수 있음, 지표가 높을수록 자주 이용하는 것으로 판단

* 수정 버전

- 성공 지표 : 가입일 기준 신규 유저가 30일 이내로 3번 이상 주문한 전환율 (CVR)

- 가입일 기준 30일 이내로 3번 이상 주문한 신규 유저 수 / 전체 신규 유저 수 * 100 = 주문 CVR (전환율)

- 신규 유저가 30일 이내로 3번 이상 주문한 경우 서비스의 핵심 가치를 경험하고 자주 이용할 확률이 높다고 판단

- 지표를 늘리기 위해선 아래 2가지가 필요

① 배달비 무료 혜택 : 30일 이내로 주문한 3건은 배달비 무료

② 멤버십 혜택 : 특정 기간 동안 주문한 금액 및 건 수에 따라 멤버십 등급 부여

└ ex. lv2은 3개월 간 15회 이상 총 50만원 이상 주문한 유저에게 3,000원 할인쿠폰(중복 사용 불가) 5매 제공 or 배달비 2회 무료 제공 (A/B 테스트 진행)

- 유저를 락인하고 타 배달 서비스와 경쟁하기 위해선 차별화된 혜택 제공이 필요함

문제 6번. 자주 사용하는 서비스 지표

<당근 앱>

- 성공 지표 : DAU, WAU, MAU

- 보조 지표 : 서비스(중고 거래, 커뮤니티, 알바, 부동산, 중고차)별 Time Spent/DAU, DAU/WAU, DAU/MAU

- 당근은 지역 기반 중고거래 중개 플랫폼으로 비즈니스 모델로 수익을 내지 못함, 현재 광고 수익 모델로 매출을 내고 있음

- 광고 매출이 오르려면 그만큼 사용 유저도 늘어나야 되기 때문에 주차 별, 월 별로 유저가 얼마나 자주 이용하고 머무는지 확인이 필요함

- Time Spent/DAU는 서비스 별로 하루동안 얼마나 오랜 시간 이용하는지, 지표가 높을수록 오랜 시간 이용하는 것으로 판단

- DAU/WAU, DAU/MAU는 서비스 별로 주, 월 동안 제품을 얼마나 자주 이용하는지 확인, 지표가 높을수록 자주 이용하는 것으로 판단

문제 7번. 퍼널 개선 프로젝트

- 성공 지표 : 가입 CVR (전환율)

- 가입 완료된 유저 수 / 가입 첫 단계에 진입한 유저 수 * 100 = 가입 CVR (전환율)

- 개선 전과 후를 A/B테스트를 통해 지표를 측정

- 개선 전 = A, 개선 후 = B로 정의하고 무작위로 동시에 가입할 유저(일 가입 유저 수를 고려해서 표본 수 산정)에게 노출

- 개선 후 가입 CVR이 더 높을수록 온보딩에 효과가 있는 것으로 판단

지은님 안녕하세요! 문제 푸시느라 고생하셨습니다!

처음엔 다 어렵다고 생각하지만, 이렇게 문제를 푸시면서 계속 발전하고 있는거라 생각합니다. 하나씩 계속 해보시지요

문제 1번. 기능 작동 확인

- 성공 지표 : 영역 별 페이지 조회 수

- 영역 별 해당 랜딩 페이지로 이동할 경우 잘 작동한 것으로 함

• 이 부분에서는 왜 이 지표를 선택했는가? 라는 근거가 튼튼한 것이 중요합니다

  • 현재 성공했다라는 것을 이동한 것으로 정의했는데, 왜 이걸로 했는지 이유를 써주시면 좋습니다

  • 그리고 조회 수라고 했다면 어떤 페이지의 조회수인지 혹은 어떤 버튼의 클릭인지 명시적으로 쓰면 좋습니다. 지금은 특정 버튼을 클릭해야 페이지 조회 수로 가는 흐름이겠지요

• 단순히 조회 수로 판단하는 것도 방법인데, 비율 지표를 활용한다면 어떻게 해보시겠어요?

문제 2번. 검색 만족도 지표

- 성공 지표 : 검색결과 목록 클릭율

- 찾고자 하는 키워드를 검색 후 원하는 결과 목록이 있으면 클릭할 확률이 높음

• 원하는 결과가 있으면 클릭할 것이라 해당 지표를 쓸 수도 있는데, 만약 아예 원하는 결과가 없다면 어떻게 될까요?

  • 또한 클릭율은 어떻게 정의할 수 있을까요? 분자와 분모를 같이 써주시면 좋아요 

• 검색 관련한 지표는 이미 정의되어 있는 경우가 있어서, 이런 지표를 찾아볼 때 한번 레퍼런스를 찾아보셔요

  • 아래 글도 추천드려요

  • https://medium.com/musinsa-tech/map-416b5f143943

문제 3번. 검색 필터 기능의 활성화 지표

- 성공 지표 : 검색 필터 버튼 클릭율

- 검색 필터의 사용 빈도가 높을수록 잘 사용된다고 볼 수 있음

• 검색 필터에는 여러가지 기능이 있습니다. 최근순, 베스트순, 거리순 등 다양하게 있는데 이렇게 다양한 기능의 성능이 좋다 안좋다를 판단하려면 어떻게 할 수 있을까요?

• 그리고 어떤 것이 더 좋다고 판단하려면 어떻게 데이터가 나와야 할까요?
  

문제 4번. 배달 서비스에서 가장 중요한 지표

- 성공 지표 : 신규 유저 주문 전환율

- 신규 유저가 첫 주문 후 배달 서비스에 만족할 경우 추가 주문할 확률이 높음 (핵심 가치 경험)

- 첫 주문에서 만족도를 늘리기 위해선 아래 2가지가 필요

└ 첫 주문 할인 쿠폰 제공 : 사용 기한은 최소 3일 or 7일(A/B 테스트 진행)로 정하고 짧은 시간 내에 주문을 할 수 있도록 유도

└ 배달 소요 시간 단축 : 첫 주문에서 배달 시간이 오래 걸리면 재주문 확률이 낮아짐, 첫 주문엔 무조건 다이렉트로 받아 볼 수 있도록 함

• 더 쪼개서 생각하셨네요! 이렇게 쪼개서 생각해보는 것이 논리적 사고, 지표 정의에 도움이 됩니다

  • 여기서 왜 이 지표를 선택했는지까지 같이 써주시면 더 좋을 것 같아요

• 신규 유저에 대한 지표를 말씀해주셨는데, 그럼 기존 유저들은 어떻게 데이터를 봐야 할까요?

  • 첫 주문에서 배달 시간이 오래 걸리면 재주문 확률이 낮아짐이라는 것은 어떻게 알 수 있는걸까요? 이걸 입증하려면 어떤 데이터가 있어야 할까요?(지역에 따라 다를 수도 있지 않을까요?)

문제 5번. 추천 알고리즘 성능 지표

- 성공 지표 : 퍼널 전환율, 추천한 상품 구매 전환율

- 각 퍼널 단계의 전환이 개선될 경우 제품 탐색 과정에서 고객 만족도가 상승했다고 볼 수 있음, 구매 전환율이 상승될 경우 유저에게 필요하고 관심있어하는 상품이 노출되었다고 볼 수 있음

• 전환율이라는 지표를 사용할 땐 분자 분모를 명시적으로 작성해서 XX 전환율이라고 이름 붙여주는게 좋습니다. 워낙 많이 사용되는 지표라서요

  • 추천 알고리즘의 클릭율을 의미하신 것 같은데, 퍼널 전환율이라고 말씀하신 것 같아요 .보통 퍼널이라고 하면 각 화면에 대한 비율을 봐서 퍼널로 볼 수는 있지만, 추천 알고리즘의 성능을 볼 땐 추천 페이지의 클릭율 지표를 보면서 구매 전환율도 참고합니다

     

문제 6번. 자주 사용하는 서비스 지표

<당근 앱>

- 성공 지표 : 리텐션율 (유저 간의 거래, 커뮤니티 등 서비스 내 여정에서 만족을 느낀 경우 다시 사용하는 비율이 높아질 수 있음)

- 보조 지표 : User Engagement(거래를 한 번 이상한 유저는 리텐션율이 높아질 수 있음), Duration Time(커뮤니티 서비스에 만족해서 오래 머문 유저는 리텐션율이 높아질 수 있음)

• 말씀해주신 리텐션은 Output 지표인데, 당근 서비스의 비즈니스를 고려한 Input Metric은 무엇일까요? User Engagement, Duration Time 모두 Output에 해당하는 것 같아 Input을 생각해보셔요. 당근에서 어떤 활동을 할 수 있나요? 

문제 7번. 퍼널 개선 프로젝트

- 성공 지표 : 온보딩 도달 직전과 도달 후 전환율

- 온보딩 도달 직전까지 전환된 비율과 온보딩 도달 후 전환된 비율을 비교해서 이탈여부 등의 온보딩 효과를 파악할 수 있음

• 도달의 정의는 무엇일까요?

• 전환율은 어떤 것일까요? 어떤 전환율?

  • 전환이라는 이벤트를 명시해주는 것이 좋을 것 같아요. 전환이 회원 가입, 구매 등 다양하게 쓰일 수 있어서 명시적으로 써주시면 좋아요

• 그리고 이탈여부 등 이라고 써주셨는데 지표 정의할 때 "등"이란 말보단 명확한 것만 주로 쓰는 편이라고 생각해주셔도 좋을 것 같아요

• 이 부분은 AB Test와 함께 퍼널 개선 UX와 퍼널 개선 전 UX를 동시에 실험하면서 비교하면 결과를 얻을 수 있게 될 거예요

문제 푸시느라 고생하셨습니다! 조금 더 고민해보시고 댓글 남겨주셔도 좋을 것 같아요!