+댓글 추가) 지표 정의하기 연습 문제 피드백 요청

카일스쿨님 피드백 감사합니다 🙂 피드백 주신 내용 확인해보니 제가 문제를 깊게 생각하지 못했던 것 같아요!내용 참고해서 문제를 다시 풀어봤습니다.시간 되실 때 한 번 더 확인 부탁드릴게요! 문제 1번. 기능 작동 확인- 성공 지표 : 일 별 영역 별 버튼 랜딩 페이지의 CVR (전환율)- 기능에 문제가 없는지 지속적인 확인을 위해 일 별 지표로 확인- 영역 별 버튼의 랜딩된 페이지 수/영역 별 버튼 클릭 수 * 100 = 페이지 CVR (전환율)- 영역 별로 링크가 걸려있는 버튼(배너 영역, 한식, 고기, 이런 음식은 어때요?-목록 등)을 클릭했을 때 해당 페이지로 문제없이 랜딩된 경우 잘 동작한 것으로 판단- 버튼 클릭한 수와 랜딩된 페이지 수를 비교해서 기능이 잘 동작하고 있는지 판단할 수 있음 문제 2번. 검색 만족도 지표* 수정 버전- 성공 지표 : 일 별 키워드 검색 결과에서 최상위 페이지 내 제품의 CTR (클릭율)- 검색 결과 제품 클릭 수/검색 결과 노출 수 * 100 = CTR (클릭율)- 검색 모델이 유저에게 가치(만족)를 주고 있는지 지속적으로 확인이 필요하므로 일 별 지표를 확인- 키워드 검색 후 최상위 페이지 내 제품을 클릭한 경우 유저가 원하는 제품이 상위에 노출된 것으로 판단- 검색 결과에서 원하는 제품이 상위에 노출될 경우 유저의 검색 만족도가 높다고 볼 수 있음 * 레퍼런스 버전- 성공 지표 : 시간대 별 mean Average Precision(mAP)- 유저가 클릭한 모든 제품에 점수를 반영하며, 해당 제품 위치의 목록 정렬 순서에 따라 점수를 차등으로 줌- 제품의 정렬이 유저의 검색 의도에 적합한지 검색 품질을 모니터링하기 위해 시간대 별 지표를 확인- 유저 당 1개 세션에서 입력한 특정 검색어(mAP) = (A 검색어 평균 정밀도 + B 검색어 평균 정밀도) / 2- 정밀도는 검색된 제품 중 관련 있는 제품의 비율을 뜻함- mAP가 높을 수록 모델 성능이 좋다고 판단하므로, 유저의 검색 만족도가 높다고 볼 수 있음 문제 3번. 검색 필터 기능의 활성화 지표- 성공 지표 : 주차 별 검색 필터의 mean Average Precision(mAP)- 키워드 검색 후 검색 필터(기본순, 주문 많은 순, 별점 높은 순, 가까운 순 등)를 클릭했을 때 정렬되는 목록 기준으로 mAP가 높을 경우 해당 필터 기능의 성능이 좋은 것으로 판단- 검색 필터를 비교했을 때 더 높은 mAP를 가진 검색 필터가 더 좋다고 볼 수 있음, mAP는 제품 위치의 목록 정렬 순서에 따라 점수를 차등으로 주기 때문에 유저가 원하는 제품을 빠르게 찾은 것으로 판단할 수 있음- 필터별 성능 비교를 위해 주차 별로 데이터를 집계하여 지표를 확인 문제 4번. 배달 서비스에서 가장 중요한 지표* 기존 버전 (피드백에서 질문 주신 내용 반영)- 성공 지표 : 신규 유저 주문 전환율→ 신규 유저가 주문을 한 번이라도 한 경우 주문부터 배달 수령까지 주문 여정을 경험해봤기 때문에 서비스에 대한 낯선 인식과 거부감이 낮아져서 계속 이용할 것이라고 판단- 신규 유저가 첫 주문 후 배달 서비스에 만족할 경우 추가 주문할 확률이 높음 (핵심 가치 경험)- 첫 주문에서 만족도를 늘리기 위해선 아래 2가지가 필요└ 첫 주문 할인 쿠폰 제공 : 사용 기한은 최소 3일 or 7일(A/B 테스트 진행)로 정하고 짧은 시간 내에 주문을 할 수 있도록 유도└ 배달 소요 시간 단축 : 첫 주문에서 배달 시간이 오래 걸리면 재주문 확률이 낮아짐, 첫 주문엔 무조건 다이렉트로 받아 볼 수 있도록 함→ 지역 별 재주문 CVR (전환율)을 확인, 재주문 수/첫 주문 시 기본 배달 소요시간을 초과한 수 * 100 = 재주문 CVR (전환율)→ 기존 유저는 DAU/MAU 지표로 서비스를 얼마나 자주 이용하는지 판단할 수 있음, 지표가 높을수록 자주 이용하는 것으로 판단 * 수정 버전- 성공 지표 : 가입일 기준 신규 유저가 30일 이내로 3번 이상 주문한 전환율 (CVR)- 가입일 기준 30일 이내로 3번 이상 주문한 신규 유저 수 / 전체 신규 유저 수 * 100 = 주문 CVR (전환율)- 신규 유저가 30일 이내로 3번 이상 주문한 경우 서비스의 핵심 가치를 경험하고 자주 이용할 확률이 높다고 판단- 지표를 늘리기 위해선 아래 2가지가 필요 ① 배달비 무료 혜택 : 30일 이내로 주문한 3건은 배달비 무료 ② 멤버십 혜택 : 특정 기간 동안 주문한 금액 및 건 수에 따라 멤버십 등급 부여 └ ex. lv2은 3개월 간 15회 이상 총 50만원 이상 주문한 유저에게 3,000원 할인쿠폰(중복 사용 불가) 5매 제공 or 배달비 2회 무료 제공 (A/B 테스트 진행)- 유저를 락인하고 타 배달 서비스와 경쟁하기 위해선 차별화된 혜택 제공이 필요함 문제 6번. 자주 사용하는 서비스 지표- 성공 지표 : DAU, WAU, MAU- 보조 지표 : 서비스(중고 거래, 커뮤니티, 알바, 부동산, 중고차)별 Time Spent/DAU, DAU/WAU, DAU/MAU- 당근은 지역 기반 중고거래 중개 플랫폼으로 비즈니스 모델로 수익을 내지 못함, 현재 광고 수익 모델로 매출을 내고 있음- 광고 매출이 오르려면 그만큼 사용 유저도 늘어나야 되기 때문에 주차 별, 월 별로 유저가 얼마나 자주 이용하고 머무는지 확인이 필요함- Time Spent/DAU는 서비스 별로 하루동안 얼마나 오랜 시간 이용하는지, 지표가 높을수록 오랜 시간 이용하는 것으로 판단- DAU/WAU, DAU/MAU는 서비스 별로 주, 월 동안 제품을 얼마나 자주 이용하는지 확인, 지표가 높을수록 자주 이용하는 것으로 판단 문제 7번. 퍼널 개선 프로젝트- 성공 지표 : 가입 CVR (전환율)- 가입 완료된 유저 수 / 가입 첫 단계에 진입한 유저 수 * 100 = 가입 CVR (전환율)- 개선 전과 후를 A/B테스트를 통해 지표를 측정- 개선 전 = A, 개선 후 = B로 정의하고 무작위로 동시에 가입할 유저(일 가입 유저 수를 고려해서 표본 수 산정)에게 노출- 개선 후 가입 CVR이 더 높을수록 온보딩에 효과가 있는 것으로 판단