기능이 잘 동작하고 있는지 확인하려면?배달서비스 메인화면에서 배너, 메뉴 카테고리, 추천영역등이 잘 동작하고 있는지 확인하려면?Hitmap: 5% 미만 클릭영역 식별이유: UI 사각지대 발견배너: 전달 내용 대비 유저 참여수/출력수로 실제 참여유도 효과 측정이유: 배너의 실질적 효과성 평가카테고리: 각 카테고리 방문 대비 주문전환율(주문수/카테고리 방문수) 확인이유: 전환율이 낮은 카테고리 식별 및 개선 방향 설정추천영역: 추천 후 주문 연결수/추천 클릭수로 실제 참여 연결효과 측정이유: 추천의 실질적 비즈니스 기여도 측정N분 이내 기준 설정으로 중간 다른 활동을 통한 주문 배제 검색 만족도 지표고객이 검색 기능에 만족했는지 확인하려면 어떤 지표?검색 퍼널: 검색단어 입력 → 검색실행 → 결과값 클릭 → 실제 주문까지의 전환율→ N분 이내 주문률로 즉시성 측정검색 정확도: 상위 N개 결과 클릭률을 통한 검색 품질 평가(Sub 지표)이유: 만족스러운 검색 결과의 클릭율과 실제 주문까지의 퍼널로 전체적 만족도 측정   검색필터 기능의 활성화 지표검색 필터 기능을 잘 사용되고 있을까요? 기능 활성화 지표를 정의하면 어떻게 할 수 있을까요?필터사용퍼널: 검색단어 입력 → 검색실행 → 필터 사용 → 결과값 클릭 → 실제 주문까지의 전환율이유: 검색 만족도와 동일한 퍼널 관점에서 필터 기능의 실제 가치 측정 배달 서비스에서 가장 중요한 지표는?가장 중요한 지표는 무었을까요? 왜 그 지표가 중요한가요? 그것을 어떻게 늘릴수(줄일 수) 있을까요?실제 주문기준 Retention이유:리텐션이 낮으면 지속적 마케팅 비용 부담으로 서비스 지속성 위험.마케팅 비용 없이도 자생할 수 있는 힘 필요맛집까지의 연결, 추천, 주문 비율을 높여야한다 생각이유:맛집을 가장 잘 연결해주는 것이 중요.맛이 좋으면 배달시간, 서비스 태도가 다소 부족해도 재방문 가능하지만, 맛까지 없으면 최악 추천 알고리즘의 성능 지표추천알고리즘은 유저 정보, 로그를 토대로 구매할것 같은 제품을 보여줌추천 알고리즘 성능을 확인하기 위해선 어떤 지표를 파악? 왜 해당 지표일까?전환율: 장바구니 or 주문 Count / 알고리즘 View Count이유: 알고리즘 목적이 구매유도이므로 실제 구매까지의 전환율로 측정 자주 사용하는 서비스의 지표자주 사용하는 서비스에서 제일 중요한 지표는 무엇일까요? 왜 해당 지표가 중요할까요?그 외 2개를 더 뽑는다면 어떤 지표가 있을까요?가상 서비스 개요(자주 사용하는 서비스 대신 강의청취중 생각난 아아디어로 진행해보았습니다.)온라인 강의 수강 중 실시간 피드백의 한계를 해결하기 위한 서비스강사가 통화 가능 시간을 표시하면 수강생이 전화를 걸어 1분 단위로 재화를 소모하며 멘토링을 받고,멘토는 포인트를 적립하는 구조.지표설계  OMTM: NRR Retention재화 소모 통화 후 지속적 재방문 및 재화 소모 여부 측정이유: 서비스가 돈을 지속적으로 사용할 만한 가치가 있는지 판단 Sub_1: 매칭 효율성시간대별 수강자수/멘토수 비율과 실제 연결비율 측정이유: 공급/수요 불균형 팡가 및 연결과정의 허들 식별 Sub_2: 통화품질서비스에 만족감을 느끼는지 파악하여 서비스 가치 판단통화 후 1분이내 팔로우 비율이유: 재통화 의향을 나타내는 즉시 반응 측정으로 만족도 평가통화 후 리뷰정성적 리뷰 데이터로 만족도 측정이유: 주관적 작성 요구로 품질 높은 피드백 확보통화시간분단위 비용 소모의 높은 허들을 파악 → 그 이상으로 통화하는 비율 측정이유: 높은 비용 부담에도 지속하는 통화는 서비스 가치 인정의 지표 퍼널 개선 프로젝트가입 퍼널 프로세스가 20%인데 이걸 개선하라는 미션가입에서 온보딩을 더 진행하는 기능을 만듬 → 온보딩 효과를 보려면 어떤 지표를?가입전환율: 기존 20% 전환율의 변화 측정으로 전체적 효과 확인온보딩 달성률: 초기 핵심 활동 달성수 / 가입수로 온보딩 목적 달성도 측정  1번을 풀다보니 궁금한게 있어 추가질문 드립니다!퍼널 분석 시 사용자가 중간에 다른 과정을 거쳐 목표에 도달하는 경우 어떻게 분석하나요?예시: 배달 서비스 메인영역 클릭 → (중간에 검색, 카테고리 탐색 등) → 장바구니/주문 완료이런 간접 경로를 통한 전환도 메인영역의 성과로 인정해야 하는지, 인정한다면 어떤 방식으로 측정하는지 궁금합니다.

안녕하세요, 입사한지 약 두달된 신입 PM입니다.다름이 아니라 데이터 로그 설계에 대해 배우면서 어떤걸 만져야 하나 고민을 하고 있습니다. 회사가 amplitude나 GA를 주로 쓰지 않아서 카일님의 방법대로 로그를 설계하기 보다는 mixpanel 기반으로 AB하는게 대부분이더라구요. 그리 크지 않아서 그럴 수도 있겠지만요, 오늘 팀장님과 면담을 했을 때는 아직 로그기반으로 트래킹을 세밀하게 하고 있는 건 없는 듯 한데, 일단 기본적인 것부터 하고 나중에 생각해보라고 하시긴 하시네요 ㅋㅋ 그냥 mixpanel 기반으로 계속 해보고 나중에 하는게 좋겠죠 ?

안녕하세요 카일스쿨님 데이터 수업 정말 잘 듣고 있습니다! 듣는 과정 중에 궁금한 점이 있는데요!수업명: 4-5. 지표 정의 Process수업시점: 2:25궁금한 부분[기존에 없던 신규 기능을 배포한 경우[ 케이스에서 A/B테스트를 하게 될 때 A: 신규 기능을 적용하지 않은 경우, B: 신규 기능을 적용한 경우로 비교 실험하는 것으로 이해했는데 맞을까요?혹은 A/B 각 군 모두 신규 기능 이되 UI/UX 형태를 다르게 해서 비교 실험을 해야하는 것일까요?감사합니다 :) 

안녕하세요, 좋은 강의 감사드립니다. 다 듣고나서 혼자 복습중에 궁금한게 생겨서 글을 씁니다.  [질문1]데이터분석가는 비즈니스의 여러 프로세스에서 협업하는거라고 생각이 들었고, 제가 이해한 구분은 크게 이렇다고 이해했습니다.물론 일반화하기 어려운 부분이 있지만, 직무분석하고 탐색하는 취준생입장에서 아래와 같다고 생각하면 될지 문의드립니다. 1. BA (Business Analysis, 비즈니스 분석)“비즈니스 자체가 잘 굴러가고 있는가?”를 보는 분석1-1. [0 → 1 단계]제품/서비스가 나오기 전 → 시장 수요, 산업 동향, 경쟁사 분석TAM/SAM/SOM 추정, 사업성 검토(예: 이 시장에 진입하면 고객이 충분히 있나?)1-2. [1 → 100 단계]운영 중인 비즈니스 전체 관점 → 매출, 수익 구조, LTV/CAC, 운영 효율성 분석투자·확장·전략 수립을 위한 인사이트 제공(예: 마케팅 ROI, 재무 지표, 운영 효율 개선)2. PA (Product/Service Analysis, 제품·서비스 분석)“제품/서비스 자체가 잘 쓰이고 있는가?”를 보는 분석2-1. [0 → 1 단계]아이디어/MVP 단계 → 가설 검증, PMF(Product-Market Fit) 검토파일럿 유저 피드백 분석, 초기 코호트 분석(예: 우리 앱을 설치한 100명 중 30명이 계속 쓰는가?)2-2. [1 → 100 단계]이미 서비스가 굴러가는 상황 → 사용자 행동 분석, 기능별 리텐션/전환율, 개선 포인트 도출캠페인/홍보 효과 측정, 퍼널 분석, A/B 테스트(예: 이 버튼 디자인 바꾸면 구매율이 올라가는가?)1. BA = 비즈니스 단위(큰 그림, 돈/전략) → 주로경영진/창업자/전략팀과 소통2. PA = 제품 단위(사용자, 기능, 서비스 경험) → PM/개발/마케팅 팀과 소통 [질문 2]BA이든 PA이든 0->1 이든, 1->100의 과정이든 / 데이터분석의 직무를 하는 사람이라면 아래의 프로세스를 따르나? 문제와 지표와 상황이 다를뿐. 문제 정의 -> 지표 설정 -> 데이터 수집 -> 데이터 가공 및 전처리 -> 데이터 분석 -> 지표 검증 + 인사이트 추출 -> 액션 아이템 도출 -> 실행 후 결과 측정 -> 반복 [질문3]그럼 저 프로세스에서 일단 기술적으로 데이터분석/pm이 준비해야할 hard skill은? 이 정도인가? 엑셀, 파이썬, sql, tool(타블로, ga4 등) 정도? (더 나아가면 머신러닝/딥러닝까지?) 데이터 수집에 필요한 기술 [엑셀, 수집-ga4, 크롤링-Python] ,데이터 가공과 전처리 기술 [SQL / Python ],데이터 분석을 위한 기술 [Python / R ]시각화와 인사이트 추출 기술 [타블로, 파이썬]

안녕하세요7-3 Foodie Express 프로젝트 회고하기에서"지표 현황 공유 & Action 아이템 토론 및 정하기" 단계에 대해 궁금한 점이 있어서 질문드립니다. 현재 이해한 프로세스지표 현황 공유 → 지표 변화 확인 → 변화 원인에 대한 상세 분석 → 스토리 작성 → Logic tree 분석 → 액션 아이디어 발산 → 수렴을 통한 액션 아이템 선정 궁금한 점1. 지표 분석의 회의 진행 범위지표 현황을 공유한 다음, 팀원들과 함께 변화에 대해 하나씩 상세하게 고민하는 과정도 모두 회의에서 진행해야 하는 건지 궁금합니다.모든 과정을 회의에서 진행하면 시간이 상당히 오래 걸릴 것 같아서요.2. 발산-수렴 과정의 현실적 진행 방법에 대해서액션 아이디어 발산은 다양한 의견이 모이니까 회의에서 하는 게 좋을 것 같은데, 발산된 의견 중에서 수렴을 할 때는 데이터 검토 과정 없이 회의에서 바로 수렴해서 액션 아이템을 결정하는 건지 궁금합니다. 제가 생각하는 방향개인적으로는 효율성을 위해 역할과 단계를 나누는 것이 좋을 것 같다고 생각해봤습니다. 지표 분석: 기초 현황 파악과 1차 가설 설정은 PM이 사전에 준비회의에서는 핵심 이슈에 대한 팀원들의 다양한 관점과 인사이트 수집에 집중발산-수렴: 1차 회의: 액션 아이디어 발산 + 임팩트와 실행 가능성 기준으로 1차 필터링회의 후: 구체적인 데이터 검증 및 개발 공수 검토를 각자 진행2차 회의: 검토 결과를 바탕으로 최종 실행 계획 확정이런 식으로 발산 중심의 1차 회의 → 개별 검토 → 수렴 중심의 2차 회의 단계로 나누어 진행하는 것이 현실적일 것 같은데, 강사님께서는 어떻게 생각하시는지 조언을 구하고 싶습니다.감사합니다!

저는 B2B SaaS를 만드는 4명짜리 스타트업에서 개발자로 일하고 있습니다. PM은 아니지만, 데이터 기반 의사결정에 대한 갈증이 커 강의를 수강하게 되었습니다. 현재 상황유저 100명 언저리에서 7개월째 머무르고 있음데이터 기반 의사결정의 필요성에 대해 막연한 공감대는 있지만, 기반 구축 비용과 기대 효과가 불분명해 도입이 계속 미뤄지고 있음 이로 인한 문제점근거 없는 의사결정의 악순환:업무 우선순위 결정 기준과 성과 측정 기준이 팀에 없음→ 개발 난이도 중심으로 의사결정, 요청이 오면 "만들 수 있으니까 일단 만들자" 방식→ 비즈니스 성과 측정 불가, 무엇을 개선해야 할지 파악할 수 없음   얻고자 하는 3가지1. 기대효과를 정의한다 = '데이터 기반 의사결정'의 개념과 효과를 나만의 언어로 정의하고 팀에 설득한다2. 비용을 파악한다 = 팀에 무엇이 없는지 파악하고 뭘 해야 하는지 안다3. 팀 단위 논의를 바탕으로 핵심 지표 1가지를 선정한다 열심히 수강해보겠습니다 ˗ˋˏ ♡ ˎˊ˗

안녕하세요, 카일스쿨님!지표 정의하기 연습 문제를 고민해서 풀어봤는데 맞는지 모르겠네요..ㅠㅠ시간되실 때 확인 부탁드리겠습니다! :)문제 1번. 기능 작동 확인- 성공 지표 : 영역 별 페이지 조회 수- 영역 별 해당 랜딩 페이지로 이동할 경우 잘 작동한 것으로 함 문제 2번. 검색 만족도 지표- 성공 지표 : 검색결과 목록 클릭율- 찾고자 하는 키워드를 검색 후 원하는 결과 목록이 있으면 클릭할 확률이 높음 문제 3번. 검색 필터 기능의 활성화 지표- 성공 지표 : 검색 필터 버튼 클릭율- 검색 필터의 사용 빈도가 높을수록 잘 사용된다고 볼 수 있음 문제 4번. 배달 서비스에서 가장 중요한 지표- 성공 지표 : 신규 유저 주문 전환율- 신규 유저가 첫 주문 후 배달 서비스에 만족할 경우 추가 주문할 확률이 높음 (핵심 가치 경험)- 첫 주문에서 만족도를 늘리기 위해선 아래 2가지가 필요└ 첫 주문 할인 쿠폰 제공 : 사용 기한은 최소 3일 or 7일(A/B 테스트 진행)로 정하고 짧은 시간 내에 주문을 할 수 있도록 유도└ 배달 소요 시간 단축 : 첫 주문에서 배달 시간이 오래 걸리면 재주문 확률이 낮아짐, 첫 주문엔 무조건 다이렉트로 받아 볼 수 있도록 함 문제 5번. 추천 알고리즘 성능 지표- 성공 지표 : 퍼널 전환율, 추천한 상품 구매 전환율- 각 퍼널 단계의 전환이 개선될 경우 제품 탐색 과정에서 고객 만족도가 상승했다고 볼 수 있음, 구매 전환율이 상승될 경우 유저에게 필요하고 관심있어하는 상품이 노출되었다고 볼 수 있음 문제 6번. 자주 사용하는 서비스 지표<당근 앱>- 성공 지표 : 리텐션율 (유저 간의 거래, 커뮤니티 등 서비스 내 여정에서 만족을 느낀 경우 다시 사용하는 비율이 높아질 수 있음)- 보조 지표 : User Engagement(거래를 한 번 이상한 유저는 리텐션율이 높아질 수 있음), Duration Time(커뮤니티 서비스에 만족해서 오래 머문 유저는 리텐션율이 높아질 수 있음) 문제 7번. 퍼널 개선 프로젝트- 성공 지표 : 온보딩 도달 직전과 도달 후 전환율- 온보딩 도달 직전까지 전환된 비율과 온보딩 도달 후 전환된 비율을 비교해서 이탈여부 등의 온보딩 효과를 파악할 수 있음

안녕하세요, 강사님.푸디 익스프레스 결제 전환율 개선 프로젝트 강의(6강) 잘 들었습니다.기존에는 강사님의 별도 채널에서 추천해주신 "데이터 문해력" 책을 바탕으로나름대로 실무 프레임워크를 구성해 사용해 왔습니다.이번 강의를 기반으로 개선하고자 방향을 정리 중에질문이 있어 문의 드립니다. ❓ 아래 흐름이 강의에서 말씀하신 구조와 일치하는 것인지 궁금합니다.1. 문제 정의 (or 지시 받기)2. 지표 정의3. 현상 파악 (퍼널에 이탈 구간 등) -> 집중할 구간 도출4. 해당 구간에 대한 다양한 가설 발산 -> 각 가설에 대한 심층분석을 진행 -> 결론도출 (심층분석 = 어떤현상이 발생?, 왜 발생?, 유저는 어떻게 행동?, 유저행동 시뮬레이션 등)5. 결론(원인)을 해결하기 위한 Action 고민 -> A, B 실험으로 가설검증 진행 ❓추가 질문Q: 상관계수, 산포도 등은 언제 사용하는 것이 적절한지, 혹은 사용을 지양해야 하는 상황이 있는지 궁금합니다.제 생각에는,가설별 지표를 정의한 이후 OR 결론을 도출한 이후초기 문제 정의시 설정한 지표 (혹인 지시받은 지표)와의 관련성을 확인해실험 우선순위를 판단하는 기준으로 참고할 수 있을 것 같은데요혹시 강사님이 생각하시는 적절한 사용 시점이나 맥락이 따로 있을까요? 

안녕하세요데이터 로그 설계 강의에서 예시 로그를 위와 같이 해주셨었는데요최소 주문금액은 2만원이 되어야만 결제화면으로 넘어가니 아래와 같이 2만원이 넘은 시점에 클릭 이벤트가 한번 더 발생하는 로그가 있어야하는게 아닌가 싶어 문의 드립니다. 실무에서는 그런 로그는 따로 쌓지 않고결제화면으로 넘어갔으니 그걸로 충족을 하고 넘어왔겠구나라고 판단을 하는걸까요? 

안녕하세요 카일님! 6-7 데이터 로그 설계 연습 문제를 풀어봤습니다. 데이터 로그 설계 강의를 여러 번 반복해서 봤는데도 어려운 부분이 있어서 문제들에 대한 답변 이후로 질문 드리겠습니다.문제 1 문제 2문제 3질문 정리1. event parameter에서 food_name, store_name이 들어가기 전에는 food_id, store_id가 들어가야할까요?들어가야 한다면 이유가 무엇인지 알 수 있을까요?CTR에 대한 지표 작성 방법은 어느정도 알겠는데 CVR은 어떤 것을 기준으로 지표를 작성해야 할 지 잘모르겠습니다.. 6-6강의에서 CVR을 구할 때 event_name이 click_payment인것을 보고 전혀 예상하지 못했었는데 CVR은 CTR처럼 직관적으로 보이는게 아니라 예상을 하고 작성을 해야할까요? 어떻게 해결하면 좋을 지 궁금합니다.수정해야 할 부분은 많은 것 같은데 전반적인 데이터 로그 작성 흐름은 맞는 지 궁금합니다. 감사합니다.

안녕하세요! 저는 프로덕트 디자이너를 희망하는 취준생입니다. 데이터 리터러시 강의를 처음 수강해봐서 제가 할 수 있는 선에서 진행을 해봤습니다. 부족한 부분이 많지만 제가 궁금한 점은 지금 제가 낸 답변에 대한 방향성이 맞는 지에 대한 여부입니다. 분명 해결책 측면에선 구체화되지 않고 부족하지만 전체적인 흐름이 맞는지 피드백을 듣고 싶어 질문을 남깁니다.문제 1. 1-1. 각 메뉴들의 ctr을 우선적으로 확인 (어떤 메뉴의 컴포넌트 영역이 가장 많이 클릭이 되었는 지 확인 필요)1-2. 탐색->매장->메뉴->주문->결제->완료로 음식점을 찾는 고객의 여정을 봤을 때퍼널의 끝인 결제 완료 화면에 지표가 많다면 결제하는 고객들이 많아지게 만든 것이므로 지표가 잘 동작했다고 볼 수 있습니다.문제 2.2-1. 검색 결과 화면검색 결과 후 화면을 클릭했는 지 확인이 필요하다고 생각합니다. 왜냐하면 검색이 잘 되면 계속 주문을 위한 다음 단계를 진행할 것이고 아니라면 이탈할 것이기 때문입니다.문제 3.3-1.검색 기능의 ctr : 사용자가 검색 기능에 얼마나 유입됐는지, 얼마나 자주 사용했는지필터 기능의 ctr : 사용자가 검색 후 필터까지 유입됐는지, 얼마나 자주 사용했는지3-2사용자가 필터 기능들을 적용 후 사용자가 필터 기능들을 적용 후 주문율 cvr이 증가했는지 문제 4.4-1. 주문 완료율 CVR이 가장 중요4-2. 배달 서비스의 최종적인 목적은 주문을 통해 수익을 내는 것이기 때문에 가장 중요한 지표라고 판단4-3. 늘리는 방법: 답 1: 쿠폰, 이벤트 프로모션이유: 혜택 쿠폰 및 이벤트 프로모션을 사용자에게 발행하면 사용자의 주문 전환율이 높아질 것이다답 2: 사용자가 자주 찾는 음식점 할인 쿠폰이유: 자주 사용하는 음식점의 할인 쿠폰을 사용자가 서비스에 접속했을 때 바로 확인할 수 있으면 주문 전환율이 높아질 것이다사용자 줄이는 방법: 답 1: 주문 완료까지의 뎁스를 길게 만들기이유: 주문 완료까지의 과정이 길어지면 중간에 이탈하는 사용자가 발생하면 주문 전환율이 감소할 것이다답 2:탐색 과정에서 원하는 음식점을 찾는 과정의 뎁스를 길게 만들기이유: 탐색 과정이 길어지면 중간에 이탈하는 사용자가 발생해 주문 전환율이 감소할 것이다답 3: 탐색 과정에서 원하는 음식점을 찾는 과정이 바로 나오지 않게 만들기이유: 탐색 과정에서 사용자가 원하는 조건에 맞는 음식점이 바로 나오지 않으면 사용자는 실망하고 이탈하게 될 것이다 문제 5.추천 상품의 클릭률 ctr: 추천 상품을 사용자에게 관심을 끌었는지추천 상품을 보고 결제로 전환되는 cvr: 추천 상품이 결제로 이어졌는지문제 66-1. 카카오톡에서 가장 중요한 지표는 접속 빈도에 대한 DAU 라고 생각합니다. 왜냐하면 카카오톡 서비스의 목적은 다른 사용자와의 소통이기 때문에 소통을 위해 얼마나 자주 방문하는 지 확인하는 것이 중요하다고 생각합니다.6-2. 카카오톡 체류시간에 대한 DAU가 중요하다고 생각합니다. 왜냐하면 서비스를 머무르는 시간에 따라 사용자가 사용하는 액션의 경우의 수가 다양해지기 때문입니다.문제 77-1. 답변 1: 온보딩 프로세스 완료율온보딩 프로세스 완료율이 높으면 사용자가 온보딩 과정이 필요하다고 인지하는 것이기 때문이고온보딩 프로세스 완료율이 낮으면 사용자가 온보딩 과정에서 부담을 느끼는 것이기 때문에 개선이 필요합니다.답변 2: 온보딩 프로세스 완료 후 가입율프로세스 완료 후 가입율이 높으면 사용자가 온보딩 과정에서 불만을 느끼지 않는 것이고가입율이 낮으면 온보딩 과정에서 사용자가 가입을 할 만큼 서비스에대한 이점을 어필하지 못한 것이라고 판단했습니다. 

안녕하세요 좋은 강의 감사드립니다. 3강 ppt 마지막 페이지의 최소 샘플 수 공식 관련 질문 있습니다. 마지막 줄에 샘플 수 구하는 공식이 n=(첫번째 항)^2(두번째 항)^2/(분모) 라고 적혀있는데, 혹시 n=(첫번째 항)^2(두번째 항)/(분모) 이 아닌가요?즉, 분자의 두번째 괄호에 제곱을 적용하지 않는 것이 맞는지 질문드립니다. 왜냐하면 해당 페이지 좌측 파이썬 코드에서도 두 번째 괄호에서 제곱이 빠져있으며, 실제로 5강과 6강의 예제 실험에서도 제곱을 빼고 계산해야 적어주신 샘플수가 계산 되더라구요.. ▶5강: ( (0.84+1.96)**2 (0.3*(1-0.3)+0.306*(1-0.306)) ) / ((0.306-0.3)**2) = 91981.49▶ 6강: ( (0.84+1.96)**2 (0.2*(1-0.2)+0.208*(1-0.208)) ) / ((0.208-0.2)*2) = 39780.16 따라서 강사님께 확인차 여쭙고자 합니다. 감사합니다.

안녕하세요! 카일스쿨님! 좀 고민하고 풀어봤습니다.피드백해주시면 감사하겠습니다 ㅎㅎ  1. 기능별 사용도 측정 지표배달 서비스 내 다양한 기능(배너, 메뉴 카테고리, 이런 음식 어때요?, 동네 맛집 등)의 성과를 확인하기 위한 주요 지표CTR→ 각 기능이 얼마나 주목을 끌었는지를 측정→ 예: 배너 클릭수 / 배너 노출수CVR→ 각 기능을 통해 실제 결제로 이어진 비율→ 예: ‘이런 음식 어때요?’를 보고 결제한 비율기능별 매출 및 순이익→ 단순 클릭을 넘어서 실질적인 수익에 대한 기여도 확인시간대별 클릭/전환 분석→ 메뉴 카테고리나 추천 기능이 어떤 시간대에 잘 동작하는지 파악개인화 추천 정확도→ 사용자의 과거 행동 기반으로 추천이 얼마나 개인화되었는지 예: 평소 3시에 짜장면을 자주 주문하는 사용자가 해당 시간에 중국집 추천을 받는지 여부로컬 기반 추천의 신뢰도→ ‘동네 맛집’의 추천 기준이 실제 동네 트래픽/주문량에 기반했는가2. 검색 기능 만족도 지표검색 기능에 대한 고객 만족도를 확인하기 위한 주요 지표재검색률→ 검색 후 유사한 키워드로 다시 검색하는 비율→ 높을수록 검색결과 만족도가 낮음을 의미검색 후 클릭률 및 클릭 후 이탈률→ 검색 결과를 클릭했는지, 클릭 후 바로 이탈했는지→ 이탈률이 높으면 검색 품질에 문제가 있을 수 있음검색 후 장바구니 추가율 (CVR)→ 검색 결과가 실제 구매로 이어졌는지 확인정확도 기반 평가 (검색결과 일치도)→ 키워드와 결과의 정합성, 예: ‘치킨’ 검색 시 상위에 리뷰/배달비 기준의 적절한 가게가 노출되었는지3. 검색 필터 기능 성과 지표검색 필터 사용 활성화 및 성과를 측정하는 방법필터 사용률→ 검색 유저 중 필터 기능을 사용한 비율필터 사용 시 CVR 변화→ 필터 사용 전/후 구매 전환율 비교필터별 클릭률 및 장바구니 추가율→ 예: ‘배달비 낮음’ 필터 사용 시 어떤 가게들이 클릭되었는가4. 배달 서비스에서 가장 중요한 지표배달 서비스의 전반적 성과를 확인하기 위한 핵심 지표가맹점 가입률→ 플랫폼 규모 확대의 핵심주문 건수 (배달 트래픽)→ 실제 수익을 좌우하는 트래픽 지표장바구니 담기 비율→ 구매 의사 형성의 선행지표배달 취소율 (가드레일 지표)→ 낮을수록 고객 경험 품질이 높다는 지표배달 시간 / 고객 후기 품질→ 배달 품질 및 고객 만족도를 반영5. 추천 알고리즘 성능 지표추천 알고리즘이 잘 동작하고 있는지를 판단하기 위한 핵심 지표CTR (추천 상품 클릭률)→ 추천 상품이 사용자 관심을 얼마나 끌었는지CVR (추천→구매 전환율)→ 추천 결과가 구매로 이어졌는지카테고리 적합성→ 사용자 속성(성별, 나이 등)에 맞는 추천을 했는지→ 예: 여성 사용자에게 남성옷 추천 빈도 낮아야 함스크롤 뎁스 / 노출시간→ 추천 섹션이 얼마나 오래, 깊이 탐색되었는지유사 사용자와의 교차 추천 성과→ 나와 비슷한 사용자가 좋아한 상품이 효과적인가?6. 여러분들이 자주 사용하는 서비스의 지표서비스 1: 똑똑보카 (영어 학습 + 앱테크 서비스)1. 가장 중요한 지표: 광고 클릭률정의: 메인화면 또는 퀴즈 중간에 노출된 광고 대비 실제 클릭 비율이유: 똑똑보카의 수익모델(BM)은 광고 기반이며, 광고 클릭이 곧 수익으로 연결되므로 가장 핵심적인 지표2. 추가로 확인해야 할 지표광고 유지율→ 광고 유입 흐름 중 계속 유지 비율→ 광고 시청 시작 후 강제 종료하거나 앱을 나가버리는 비율로, 사용자 경험 저하나 보상 설계 문제를 점검할 수 있음연속 학습률→ 사용자가 며칠 연속으로 학습에 참여했는지를 나타내는 지표→ 영어 학습 앱으로서의 핵심 가치(지속적 학습)를 반영하며, DAU보다 질적인 사용자 유지 관리를 측정할 수 있음서비스 2: 유튜브 (유튜브 프리미엄으로 생각해보기)1. 가장 중요한 지표: 유튜브 프리미엄 가입률정의: 전체 사용자 중 유튜브 프리미엄에 가입한 비율이유: 유튜브의 수익원 중 광고 외 안정적인 구독 기반 수익을 의미하며, 장기적인 수익성과 만족도를 반영2. 추가로 확인해야 할 지표프리미엄 해지율→ 프리미엄 가입 후 일정 기간 내 해지하는 비율→ 사용자가 프리미엄에 만족하지 않았다는 신호로, 서비스 개선에 필요한 인사이트 제공추천 동영상 클릭률→ 유튜브가 메인화면, 사이드바, 자동재생 등을 통해 추천한 동영상의 클릭 비율→ 유튜브의 핵심 경쟁력인 추천 알고리즘 성능을 확인할 수 있는 핵심 지표7. 퍼널 개선 프로젝트문제현재 가입 퍼널의 전환율이 약 20%로 낮은 상태입니다.이를 개선하기 위해 온보딩 기능을 퍼널 안에 추가했으며, 온보딩이 가입 전환에 어떤 영향을 주는지 파악하고자 합니다.제안 아이디어온보딩을 가입 후가 아닌 가입 전으로 배치하는 전략대부분의 서비스는 ‘가입 → 온보딩’ 흐름을 따르지만,오히려 ‘온보딩 → 가입’ 흐름이 사용자에게 서비스에 대한 확신을 줄 수 있다고 판단합니다.예를 들어 일부 모바일 게임은 닉네임만 정하고 바로 체험을 시작하게 한 후, 일정 시점에 가입을 유도합니다.사용자가 실제 서비스를 경험한 뒤에 가입을 유도하는 방식은 전환율을 높이는 데 효과적일 수 있습니다.온보딩 효과 측정을 위한 핵심 지표온보딩 완료 후 가입 전환율온보딩을 완료한 사용자 중 가입까지 이어진 비율온보딩이 실제 가입 의사 형성에 도움이 되었는지를 측정온보딩 이탈률온보딩 도중 앱을 종료하거나 더 이상 진행하지 않은 비율온보딩 자체의 UX 문제나 피로도를 진단가입 전 체류 시간 / 페이지 뎁스가입 전에 사용자가 체험한 화면 수, 머무른 시간온보딩 체험이 몰입감을 주고 있는지를 간접적으로 측정A/B 테스트: 기존 퍼널 vs 온보딩 우선 퍼널두 버전을 나눠 퍼널 전환율을 비교 실험온보딩 전략 변경이 실제 전환율 개선으로 이어지는지 검증결론온보딩을 먼저 제공하면 사용자는 서비스를 직접 체험해볼 수 있고,그로 인해 “이 정도면 가입해볼 만하네”라는 확신을 갖고 자연스럽게 전환될 수 있습니다.따라서 기존의 ‘가입 → 온보딩’ 패턴 대신, ‘온보딩 → 가입’ 흐름을 실험해보고 그 효과를 위 지표들로 측정하는 것이 전략적으로 유의미합니다.

안녕하세요질문이 있어 문의 드립니다! 1. 강의 중 Foodie Express 페이지 전환율 계산에서 사용한 ‘수’의 기준이 유저별 고유 방문 수인지, 중복 방문까지 포함한 전체 방문 수인지 궁금합니다.1-1. 현재 업무에서는 가입 단계 로그를 수집하여 디바이스별 각 가입단계 첫 활동 일시를 기준으로 일 단위 전환율을 계산하고 평균을 확인하고 있습니다. 유저의 첫 활동 이후 행동은 고려하지 않는 방식인데, 이런 산출 방법이 적절한지도 궁금합니다. 2. SAAS 환경에서 단순 클릭 수나 페이지 전환율뿐만 아니라,유저에게 보여지는 알고리즘 값(추천 점수 등)에 대한 실험도 가능한가요?2-1. 이런 실험을 위해 Growth Book을 사용하는 것이 적합한지 궁금합니다. 3. 강의 중 Growth Book 관련 참고자료를 언급해 주셨는데, 위치를 못 찾겠습니다! 4. PM으로서 활용할 만한 레퍼런스 자료는 디스코드 ‘추천자료’ 채널에 있는 것이 맞나요?

강의를 통해 얻고자 하는 3가지문제 해결 경험(이력)데이터 활용을 기반으로 실무 문제를 프로젝트 단위로 수행하여구체적 성과와 경험을 축적논리적 사고력·데이터 문해력 기반 의사결정 역량데이터 해석과 인사이트를 논리적으로 판단하고,이해관계자들과 효과적으로 소통·설득하는 사고력과 커뮤니케이션 능력 강화실무 기술 고도화 (분석, 통계, 시각화)데이터 추출, 처리, 통계 분석, 시각화 도구 활용 능력을 숙련하여 실무에서독립적으로 분석 업무 수행 가능 수준 도달  목표 달성을 위한 노력틈나는 모든 시간에 강의 청취회사 내 실무 문제 정의 및 해결에 배운 내용을 적극활용학습과 실무를 병행하며 역량 내재화 수강 후 나의 모습데이터 분석 업무를 독립적으로 수행 가능한 PM으로 성장회사 내 핵심 인재로 인정받음성과 기반 입지를 확고히 다지고이직을 통해 서울에서 새로운 성장과 삶을 개척!!!!!^^

- 수강 목적마케팅 분야에서 데이터를 해석하고 활용하는 능력의 중요성을 절실히 느꼈습니다. 기존에는 감각과 기술 중심의 접근에 머물렀지만, 마케터로서 한 단계 더 성장하고자 본 강의를 수강하게 되었습니다.   - 수강을 통해 얻고 싶은 3가지1. 데이터를 기반으로 사고력과 분석력을 기르는 방법 2. 사람들의 마음을 잘 읽고 반응을이끌어내는 마케팅 전략 3. 전환율을 높일 수 있는 실질적인방법과 사고방식   - 수강에 임하는 자세매일 조금씩 이라도 강의를 듣고, 복습하며배운 내용을 제 언어로 정리해 체화하겠습니다.   - 목표하는 나의 모습사람들의 마음을 움직이는 마케터로성장하고 싶습니다.

연습 문제 #1. 기능이 잘 동작하고 있는지 확인하려면?배너 영역, 메뉴 카테고리, 이런 음식 어때요, 동네 맛집 기능이 잘 동작하고 있는지 확인하려면 어떤 지표를 확인해야 할까요?[해당 컴포넌트의 CTR] = [Click 수] / [View 수] = [click_home] / [view_home]각 컴포넌트 별 CTR은 component_name으로 구분[배너, 추천 주문전환율] = [주문 완료 중 추천 음식을 클릭한 수] / [주문 완료 수] = [is_recommend_food가 T인 order_complete] / [order_complete]Q. 위 지표를 보기 위해 데이터 로그 설계를 한다면 어떻게 할 수 있을까요? 연습문제 #2. 검색 만족도 지표고객이 검색 기능에 만족했는지 확인 하려면 어떤 지표를 봐야 할까요?검색 결과 컨텐츠 CTR = [컨텐츠 클릭 수] / [검색 시행 수] = [click_search_result_food] / [click_search]보조 지표 1: 주문전환율 = [is_search_result == T 인 order_complete] / [order_complete]보조 지표 2: 재검색 비율 = [page가 search_result인 click_search] / [page가 search_home인 click_search] Q. 위 지표를 보기 위해 데이터 로그 설계를 한다면 어떻게 할 수 있을까요?  연습 문제 #3. 검색 필터 기능의 활성화 지표검색 필터 기능은 잘 사용되고 있을까요? 필터 기능의 활 성화 지표를 정의하면 어떻게 할 수 있을까요?[필터 사용률] = [필터 적용 수] / [검색 시행 수] = [apply_filter] / [click_search]Q. 위 지표를 보기 위해 데이터 로그 설계를 한다면 어떻게 할 수 있을까요?   

6-6에서 예시 이벤트 설정 관련해서 질문이 있습니다. 최소 주문 금액을 넘지 않은 상태로 카트 페이지에 진입한 수를 view_recomment_food 이벤트로 측정하는데, page_view 자체에 is_meet_min_order_price 패러미터를 부여하지 않는 이유는 무엇인가요?주문전환율(CVR)을 측정할 때, click_recommend_food가 발생한 세션과 그 중 click_payment가 발생한 세션 수를 count 하지 않고 click_payment에 별도의 use_recommend_food라는 패러미터를 주어 count 해야 하는 이유는 무엇인가요?

연습 문제 #1. 기능이 잘 동작하고 있는지 확인하려면?당신은 배달 서비스를 담당하는 PM입니다.Q1. 배너 영역, 메뉴 카테고리, 이런 음식 어때요, 동네 맛집 기능이 잘 동작하고 있는지 확인하려면 어떤 지표를 확인해야 할까요?기본적으로 현재 스크린 내에서 해당 컴포넌트가 잘 기능하는지 보기 위해서는 해당 컴포넌트의 CTR( = Click 수 / View 수 )을 볼 수 있습니다.다만 배너(광고), 메뉴 영역과 다르게 ‘이런 음식 어때요’, ‘동네 맛집’ 컴포넌트는 개인화, 추천 의도가 있는 것으로 보입니다. 이 경우 보조 지표로 주문전환율( = 주문까지 완료한 수 / 클릭 세션 수 )를 본다면 추천 알고리즘이나 컨텐츠의 품질까지 판단할 수 있을 것입니다.Q2. 지표를 정의하고, 지표가 어떤 식으로 움직이면 잘 동작한다고 볼 수 있을까요?개별 컴포넌트 레벨에서는 CTR이 높아질수록 해당 기능이 잘 작동한다고 볼 수 있습니다.다만 스크린 내 구성요소들 전체의 클릭 비중을 보며 테스트해 홈 화면을 더 최적화할 수 있을 것입니다. 예를 들면, 배너 영역의 CTR이 높으나 주문전환율(매출 발생)이 낮고, ‘이런 음식 어때요?’은 CTR이 낮으나 주문전환율이 높다면, ‘이런 음식 어때요?’ 컴포넌트를 상위로 올리는 테스트를 해볼 것입니다. 연습 문제 #2. 검색 만족도 지표당신은 배달 서비스를 담당하는 PM입니다.Q1. 고객이 검색 기능에 만족했는지 확인 하려면 어떤 지표를 봐야 할까요? 검색하는 흐름을 떠올려보면서 그 안 에 있는 이벤트를 조합해보세요.우선 검색을 시행한 유저의 이후 퍼널을 (검색 → 상품 상세 페이지 → 장바구니 → 결제 → 주문완료)라고 가정하겠습니다.주요 지표: 검색 결과 컨텐츠 CTR검색의 가장 중요한 기능은 유저를 그가 찾고 있는 가장 이상적인 상품으로 보내주는 것입니다. 검색 결과로 유저가 찾는 것을 보여주었다면 유저는 그 상품을 클릭했을 가정 하에 검색 결과의 CTR을 가장 중요한 주요 지표로 보겠습니다.보조 지표 1: 주문전환율 (검색 이후 퍼널에서 주문 완료된 비율)유저가 검색을 하는 이유는 지금 주문하고 싶은 음식을 찾기 위해서 입니다. 따라서 검색을 실행한 세션이 이탈 없이 주문 완료 퍼널까지 진행되었다면 유저의 구매 의사가 있는, 유저가 원하는 결과를 제대로 보여주었다고 판단할 수 있습니다.다만 이 경우, 제품 상세 컨텐츠, 장바구니, 결제 과정 등 검색과 주문 사이에 여러 퍼널이 존재하기 때문에 직접적인 영향력은 작을 수 있어 보조 지표로 두었습니다.보조 지표 2: 재검색 비율 (검색 결과 페이지에서 다시 검색을 실행한 비율) & 재검색 횟수검색 결과 페이지에서 다음 퍼널 단계로 넘어가지 못하고 이탈(컨텐츠를 클릭 하지 않음)한다는 것은 검색 결과가 마음에 들지 않았다는 뜻으로 보입니다. 이탈 경로로 다시 검색을 한 유저는 검색에 대한 니즈가 강하나 검색 결과에 만족하지 못했다는 것이며, 따라서 재검색율은 검색 품질의 문제를 보여줄 수 있을 것입니다.다만 일반적으로 검색 수에 비해 재검색은 매우 적을 것으로 판단되며 큰 임팩트를 가져오는 개선을 만들어내기는 어려울 것 같아 보조지표로 두었습니다. 연습 문제 #3. 검색 필터 기능의 활성화 지표당신은 배달 서비스를 담당하는 PM입니다.Q1. 검색 필터 기능은 잘 사용되고 있을까요? 필터 기능의 활성화 지표를 정의하면 어떻게 할 수 있을까요? 검색 필터를 사용하는 흐름을 떠올려보면서 그 안에 있는 이벤트를 조합해보세요필터의 활성화 지표는 필터 사용률(필터 적용 수 / 검색 수)로 볼 수 있을 것입니다. 필터 적용은 컴포넌트 클릭보다는 필터링 된 리스트를 보낼 때 1회로 체크하는 것이 정확할 듯 합니다.필터 내부의 개별 항목들(ex. 가격, 카테고리 등)이 얼마나 클릭 되었는지 전체 클릭 수의 비중을 보고 필터 순서를 최적화할 수 있을 것입니다. 연습 문제 #4. 배달 서비스에서 가장 중요한 지표는?당신은 배달 서비스를 담당하는 PM입니다.Q1. 배달 서비스에서 가장 중요한 지표는 무엇일까요?배달 서비스에서 가장 중요한 지표는 주문 완료율입니다.Q2. 왜 그 지표가 중요할까요?배달 서비스를 사용하는 유저들의 궁극적인 과업은 음식을 주문하는 것이기 때문입니다. 배달 서비스는 그 과정에서 생기는 ‘사러 가기 귀찮다.’, ‘음식점 고르기가 어렵다.’ 등의 문제를 해결해줌으로써 유저의 목적 달성을 돕습니다. 유저가 음식을 주문했다는 것은 그러한 문제들을 해결하고 궁극적인 목표를 달성했다는 것입니다.Q3. 그것을 어떻게 늘릴 수(줄일 수) 있을까요?(서비스 실행 → 검색 & 카테고리 탐색 → 상세 페이지 → 장바구니 → 결제 → 주문 완료)이라는 퍼널을 가정하고 주문부터 역순으로 퍼널 이탈율을 보며 기능적인 개선점을 찾아보겠습니다.장바구니 → 결제 → 주문: 결제 단계를 최대한 간소화합니다.상세 페이지 → 장바구니: 상세 정보와 리뷰 등 판단 기준을 제공해 유저의 선택을 돕습니다. 유저가 주문할 메뉴를 선택하고 장바구니에 넣는 UX를 직관적으로 만듭니다.탐색 → 상세 페이지: 유저가 원하는 탐색 플로우(검색이든, 메뉴든)마다 컨텐츠 CVR을 최적화하겠습니다. 연습 문제 #5. 추천 알고리즘의 성능 지표여러분은 이커머스 서비스에서 추천 알고리즘을 만드는 조직의 PO입니다. 추천 알고리즘은 유저의 정보와 유저 로그를 토대로 구매할 것 같은 제품을 보여줍니다.Q1. 추천 알고리즘의 성능을 확인하기 위해 어떤 지표를 파악해야 할까요?CTR (추천 컨텐츠 클릭 수 / View 수)Q2. 왜 해당 지표일까요?추천 컴포넌트에 노출된 유저에게 적절한 상품을 추천해주었다면 유저는 그 상품을 클릭했을 것입니다. 또한 여러 페이지 별 추천 컴포넌트 간의 CTR을 비교하거나 한 페이지 내에서 위치에 따른 추천 컴포넌트 간의 CTR 변화를 비교함으로써 UX 측면의 개선점도 찾아낼 수 있습니다.보조 지표로 추천 컨텐츠를 클릭한 세션이 구매 완료 퍼널까지 도달하는 비율(구매 전환율)을 본다면 더 큰 임팩트를 만들어낼 수 있을 것입니다. 연습 문제 #6. 여러분들이 자주 사용하는 서비스의 지표Q1. 여러분들이 자주 사용하는 서비스에서 제일 중요한 지표는 무엇일까요? 왜 해당 지표 가 제일 중요할까요?요즘 듀오링고를 매일 사용하고 있습니다. 듀오링고에서 가장 중요한 지표는 D-1 리텐션입니다. 듀오링고는 매일 사용을 유도하며 습관 형성과 반복적인 학습을 통해 사용자의 언어 실력을 발전시키는 것을 목표로 하고 있습니다. 따라서 D-1 retention을 북극성 지표로 잡는다면 서비스 전체의 방향성을 강화할 수 있을 것입니다.Q2. 그 외에 확인해야 하는 지표를 2개 더 뽑는다면 무엇이 있을까요?Engagement Time: 기본적으로 유저들의 매일 사용을 유도한다면, 그 이후에는 매일 얼마나 많은 시간을 사용하는지가 중요합니다. 다만 실질적인 개발 과정에서는 engagement time을 증가시킬 수 있는 input metric들을 활용해야할 것입니다.구독(구매) 전환율: 모든 비즈니스는 매출을 발생시켜야하며 듀오링고의 주요 비즈니스 모델은 무료로 습관 형성 → 구독(구매)입니다. 따라서 유저의 구독 전환율을 본다면 비즈니스 모델이 얼마나 잘 작동하고 있는지 판단할 수 있습니다. 연습 문제 #7. 퍼널 개선 프로젝트여러분들은 가입 퍼널을 개선하라는 미션을 받았습니다. 현재 가입 퍼널 프로세스의 전환율은 약 20%며 가입 퍼널에서 온보딩을 더 진행하는 기능을 만들었습니다.Q1. 온보딩의 효과를 파악하려면 어떤 지표를 봐야할까요? 상상이 어렵다면 여러분들이 자주 사용하는 서비스를 가정하고 말씀하셔도 좋습니다온보딩의 목표는 처음 서비스를 접한 유저에게 서비스의 사용 방법을 학습시키고 결과적으로는 서비스를 잘 사용하게 만드는 것입니다. 따라서 온보딩이 효과적으로 이뤄졌다면 유저는 activate될 것입니다. 따라서 유저의 activation 비율을 보는 것이 온보딩의 효과를 파악하는데 가장 좋은 지표일 것입니다.

안녕하십니까.4-8 지표 정의 연습 문제에서 피드백받은 부분을 더하여 데이터 로그 설계를 하였습니다. 문제점이 있으면 지적해주시면 감사하겠습니다. 1. 기능이 잘 동작하고 있는지 확인하려면?지표) CTR(기능 클릭 수 / 메인 페이지 호출 수)보조 지표) CVR(기능 클릭을 통해 구매한 수 / 기능 클릭 수), 기능 클릭 비율(각 기능 클릭 수 / 전체 기능 클릭 수) 지표 선정 이유메인 지표: CTR은 기업이 설정한 사용자 행동 패턴을 원할하게 이행을 하고 있는지 파악할 수 있는 지표입니다. 즉, 사용자가 해당 기능에 흥미를 가지고 클릭을 하고 사용을 하는지를 확인할 수 있습니다.보조 지표: CVR은 해당 기능을 통해 최종적으로 매출을 발생하는지를 확인할 수 있습니다. 또한, 기능 클릭 비율을 통해 사용자가 주로 사용하는 기능이 무엇인지 파악할 수 있습니다. Problem & Actioncase1) CTR은 높으나 CVR은 낮은 경우 -> 구매까지의 프로세스 탐색(구매 프로세스 피로도 개선)case2) CTR은 낮으나 CVR은 높은 경우 -> 기능 개선 방안 탐색(ex. 위치 조정, 메시지 문구 개선 등)case3) 특정 기능 클릭 비율이 낮은 경우 -> 해당 기능 클릭을 높이는 방안 탐색 계산CTR분자)click_home_functionevent_parametersession_iduser_idtimestamphome_function_idhome_function_type분모)view_homeevent_parametersession_iduser_idtimestampCVR분자)view_restaurantevent_parametersession_iduser_idtimestamprestaurant_idrestaurant_namerestaurant_categoryuse_home_functionuse_home_function_type분모)click_paymentevent_paramtersession_iduser_idtimestamppayment_idpayment_amountpayment_typeuse_home_functionuse_home_function_type 2. 검색 만족도 지표지표) mAP(mean Average Precision)보조 지표) CTR(검색 결과 클릭 수 / 검색 결과 페이지 호출 수) 지표 선정 이유메인 지표: mAP는 상위로 노출되는 순으로 가중치를 두어 사용자가 클릭을 한 위치를 점수화하여 평균을 낸 방법입니다. 즉, 클릭을 한 상품의 순서를 고려할 수 있습니다.보조 지표: 사용자가 검색을 하고 원하는 검색 결과가 나왔다면 클릭을 할 것입니다. 즉, CTR을 통해 사용자가 얼마나 결과를 만족하고 클릭을 하였는지 비율을 확인할 수 있습니다. Problem & Actioncase1) mAP가 낮은 경우 -> AP가 낮은 사용자를 분리하여 사용자 행동 탐색(사용자 특성 분석)case2) AP가 모두 낮은 경우 -> 검색 알고리즘 개선 방안 탐색(ex. 배달료 가중치 조정, 사용자 선호 카테고리 조정 등)case3) CTR이 낮은 경우 -> 검색 결과와 유사한 음식 추천 유도 기능 설계, UI 개선 계산mAPwith base as ( select search_session_id, search_list_rank, case when restaurant_id is not null then 1 else 0 end as is_relevant from click_search_list ), search_rank as ( select search_session_id, search_list_rank, sum(is_relevant) over ( partition by search_session_id order by rank ) as rel_k from base where is_relevant = 1 ), search_table as ( select search_session_id, rel_k/rank as precision_k from search_rank ), precision_table as ( select search_session_id, round(avg(precision_k), 4) as average_precision from search_table group by search_session_id ) select round(avg(average_precision),4) from precision_table; CTR분자)click_search_listevent_parametersession_idsearch_session_iduser_idtimestampsearch_wordsearch_list_rankrestaurant_idrestaurnat_namerestaurnat_category분모)view_searchevent_parametersession_iduser_idtimestampsearch_word 3. 검색 필터 기능의 활성화 지표지표) CTR(필터 기능 클릭 수 / 검색 결과 페이지 호출 수)보조 지표) 필터 기능 비율(각 필터 기능 클릭 수 / 전체 필터 클릭 수) 지표 선정 이유메인 지표: CTR은 통해 사용자가 검색 결과 페이지에서 필터기능을 인지하고 사용하는지를 비율을 통해 확인할 수 있습니다.보조 지표: 필터 기능 비율을 통해 사용자가 어떤 필터 기능을 많이 사용하는지를 확인할 수 있습니다. 이를 통해 사용자가 어떤 기능을 선호하는 지 알 수 있습니다. Problem & Actioncase1) CTR이 낮은 경우 -> 필터기능을 모를 것으로 예상, 튜토리얼 기능을 넣어 필터기능을 인지 시키기case2) 특정 필터 기능 비율이 낮은 경우 -> 특정 필터의 필요성 점검 계산CTR분자)click_filterevent_parametersession_iduser_idtimestampfilter_typefilter_values분모)view_searchevent_parametersession_iduser_idtimestampsearch_word필터 기능 비율with table as ( select filter_type, filter_values, sum(filter_values) as score from click_filter group by filter_type, filter_values ) select filter_type, filter_values, round(percent_rank() over (order by score desc) * 100, 2) as percentile from table order by percentile desc;