4-8. 지표 정의 연습 문제

Question

#1. 기능이 잘 동작하고 있는지 확인하려면   각 영역 별 사용자의 인터랙션 및 관심도를 확인하기 위한 콘텐츠 별 CTR 확인   전제 조건으로 각 앱 카테고리 요소(배너영역, 메뉴카테고리, etc) 영역이 픽셀기준 사용자에게 노출되면 contents_impression이라는 이벤트가 발생하고 하위 파라미터로 location 디멘젼에 {{카테고리명}}이 적재. 또한, 사용자가 그 세부 콘텐츠를 클릭 시에 contents_click이라는 이벤트가 발생하고 하위 파라미터로 location 디멘젼에 {{카테고리명}} 및 클릭된 콘텐츠의 {{콘텐츠명}}을 click_text로 저장 따라서 contents_impression / contents_click 으로 CTR을 구하고 디멘젼 location과 click_text를 활용하여 사용자 별로 고관여 콘텐츠와 저관여 콘텐츠를 확인하여 해당 데이터를 기반으로 고도화 작업을 진행한다.   #2. 검색 만족도 지표 먼저 사용자가 검색을 완료하면 search_comp라는 이벤트가 발생하도록 설계 및 검색 완료 페이지에서 해당 상품카드를 클릭시 search_contents_click이벤트가 발생하도록 이벤트 태깅을 한다. 이후 적재된 데이터를 기반으로 search_contents_click / search_comp 비율을 계산. 이후 사용자 디멘젼 active user기준으로 해당 비율을 보게되면 만약 해당 값이 1에 가까울 경우 한번 검색후 바로 상품을 클릭했으므로 비교적 검색 기능이 원활하게 작동했다고 볼 수 있지만, 반대로 낮은 경우 클릭까지 도달하기위해 여러번 검색을 반복했다는 뜻이 되므로 수정보완이 필요하다고 해석이 가능함.     #3. 검색 필터 기능의 활성화 지표 검색 필터의 기능별 활성화 정도를 파악하기 위하여 이벤트 "search_filter_click"를 정의. 트리거 조건은 필터 영역 최상단 요소를 트리거 엘리먼트로 지정하여 하위 요소를 클릭시 이벤트 발생. 하위 디멘전으로 click_text를 수집하여 어떤 필터 요소를 사람들이 많이 사용하는지 그리고 각 필터 카테고리를 filter_category라는 파라미터를 붙여 수집하여 어떤 세부 필터 기능을 상위 카테고리에서 많이 사용하고 덜 사용하는지 데이터 기반으로 확인 가능. 즉, search_filter_click 이벤트 + filter_category + click_text를 event cnt 및 active user 기준으로 확인하여 활성화 상태를 확인.   #4. 배달 서비스에서 가장 중요한 지표는?   "구매 사용자의 리텐션" 1) 첫번째 이유는 배달서비스의 경우 사용주기가 짧은 서비스라고 생각하며, 최초 구매 시점 이후로 반복적으로 플랫폼에서 주문을 해주는 것이 비지니스 차원에서 가장 바람직한 상황이라고 생각한다. 2) 리텐션 증가를 위해서는 서비스 핵심 퍼널 분석을 통해서 어느 구간에서 사용자가 이탈하는지를 확인하여 추가적인 세그먼트 분석 및 기능 개선을 위한 A/B테스트를 진행 및 반영하여 서비스 고도화를 통해 이탈률을 개선한다. #5. 추천 알고리즘의 성능 지표   가장 중요한 것은 추천 알고리즘에 영향을 받은 사용자가 매출로 이어지는 인과관계 분석 1) 추천 기반 매출 비중이 어느정도 되는지? 2) ARPU (사용자 별 평균 구매 금액) 3) AOV(평균 구매 금액) 4) 추천 영역 별 노출 대비 클릭 CTR 지표 5) 클릭 이후 실제 주문으로 이어지는지 recomm_cart_to_order_CVR 지표 확인 "order / add_to_cart" 구매 및 장바구니 이벤트가 존재한다고 가정하고 생각함. 6) END TO END 지표 노출부터 실제 구매 전환 order / impression 즉, CVR 확인 4)-6) 지표는 UU(Unique User) 기준 7) 추천 알고리즘 품질 지표 7-1 : precision : 정확도 , 추천 TOP K 중 실제 유저가 선택한 수 / K 7-2 : Recall : 재현율, 사용자가 좋아했던 것 중 얼마나 맞췄는지? , (추천 Top k 중 실제 선택된 개수) / (유저가 좋아한 전체 개수) 7-3 : NDCG: 랭킹품질, 추천 순서를 맞게 했는지 예를 들어 사용자가 선호하는 1,2,3위 중 3위가 햄버거일때 이것을 1번 순서로 추천하지는 않았는지 와 같은 데이터(negative case)   #6. 여러분들이 자주 사용하는 서비스의 지표 요청사항: 안녕하세요 카일님 저는 ga4 tech 컨설턴트로 N년째 근무하고 이번에 BA로 커리어 전환을 위해 최종면접까지 마치고 결과를 기다리고 있습니다. 이번 면접에서 해당 서비스에서 원하는 것이 분명하게 느껴졌고, 그것은 매출을 데이터 구조화(지표, 매트릭 설계) 가능여부 였습니다. 해당 서비스가 B2B에 TAXTECH라는 특이점이 있고 특히 구매 퍼널 형태가 카카오톡에서 사용자가 동의를 하면 국세청 자료를 가져와 세금 환급 여부를 확인하여 결제를 하는 퍼널인데 실제 구매 완료시에는 백엔드쪽에 데이터가 쌓이는 것 같지만 이런식으로 PG사(카카오톡)가 중간단계에 있어 PA툴로 트랙킹이 어려울 경우 어떤식으로 구매 퍼널 분석을 해야할지 애매하더라구요 조언을 구하고 싶습니다. 아래 내용은 실제 해당 서비스 URL과 제가 생각한 NSM과 INPUT 메트릭을 정의해봤습니다.(하단 7번문제까지 같은 접근 관점으로 작성) https://www.save-tax.co.kr/ 기업 SMB를 대상으로 한 IT 세무 서비스 SAVETAX. 가장 중요한 서비스 지표는 “매출” revenue 이다. 이유는 현재 사업 본부장님과 대표님 모두가 성숙기로 나아가고 있는 서비스에 매출구조를 지표 기반으로 분석하고자 Business analyst를 채용하고 있고, 이 포지션에 지원하여 최종 면접에서 구체적인 니즈를 확인했기 때문. 매출은 OUTPUT 매트릭이므로 이것을 좀더 분해 할 수 있는 지표로 10회 이상 구매한 VIP 사용자 수 구매자 리텐션 (지속적인 구매 의지 및 로얄티 확인) ARPU (사용자 별 평균 구매 금액) #7. 퍼널 개선 프로젝트 위 서비스에서 구매 퍼널 프로 세스 전환율이 20%이고 온보딩을 위한 새로운 기능의 성능 평가를 위한 지표. 만약 온보딩 서비스가 웹페이지고 step별로 나눠줘있는 경우라고 가정하면, STEP1부터 STEP5 까지의 퍼널 전환율 지표를 확인 (Unique User 기준) step1_to_step2_CVR = step2 / step1 step2_to_step3_CVR = step3 / step2 step3_to_step4_CVR = step3 / step4 step4_to_step5_CVR = step4 / step5 step1_to_step5_CVR = step5 / step1 온보딩을 완료한 사용자 기준 구매 전환율 확인 지표 구매수 / onboarding_comp 온보딩을 완료한 사용자의 일별 리텐션 daily 지표