묻고 답해요
156만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
지표정의 4-8 문제풀이 입니다.
기능이 잘 동작하고 있는지 확인하려면?배달서비스 메인화면에서 배너, 메뉴 카테고리, 추천영역등이 잘 동작하고 있는지 확인하려면?Hitmap: 5% 미만 클릭영역 식별이유: UI 사각지대 발견배너: 전달 내용 대비 유저 참여수/출력수로 실제 참여유도 효과 측정이유: 배너의 실질적 효과성 평가카테고리: 각 카테고리 방문 대비 주문전환율(주문수/카테고리 방문수) 확인이유: 전환율이 낮은 카테고리 식별 및 개선 방향 설정추천영역: 추천 후 주문 연결수/추천 클릭수로 실제 참여 연결효과 측정이유: 추천의 실질적 비즈니스 기여도 측정N분 이내 기준 설정으로 중간 다른 활동을 통한 주문 배제 검색 만족도 지표고객이 검색 기능에 만족했는지 확인하려면 어떤 지표?검색 퍼널: 검색단어 입력 → 검색실행 → 결과값 클릭 → 실제 주문까지의 전환율→ N분 이내 주문률로 즉시성 측정검색 정확도: 상위 N개 결과 클릭률을 통한 검색 품질 평가(Sub 지표)이유: 만족스러운 검색 결과의 클릭율과 실제 주문까지의 퍼널로 전체적 만족도 측정 검색필터 기능의 활성화 지표검색 필터 기능을 잘 사용되고 있을까요? 기능 활성화 지표를 정의하면 어떻게 할 수 있을까요?필터사용퍼널: 검색단어 입력 → 검색실행 → 필터 사용 → 결과값 클릭 → 실제 주문까지의 전환율이유: 검색 만족도와 동일한 퍼널 관점에서 필터 기능의 실제 가치 측정 배달 서비스에서 가장 중요한 지표는?가장 중요한 지표는 무었을까요? 왜 그 지표가 중요한가요? 그것을 어떻게 늘릴수(줄일 수) 있을까요?실제 주문기준 Retention이유:리텐션이 낮으면 지속적 마케팅 비용 부담으로 서비스 지속성 위험.마케팅 비용 없이도 자생할 수 있는 힘 필요맛집까지의 연결, 추천, 주문 비율을 높여야한다 생각이유:맛집을 가장 잘 연결해주는 것이 중요.맛이 좋으면 배달시간, 서비스 태도가 다소 부족해도 재방문 가능하지만, 맛까지 없으면 최악 추천 알고리즘의 성능 지표추천알고리즘은 유저 정보, 로그를 토대로 구매할것 같은 제품을 보여줌추천 알고리즘 성능을 확인하기 위해선 어떤 지표를 파악? 왜 해당 지표일까?전환율: 장바구니 or 주문 Count / 알고리즘 View Count이유: 알고리즘 목적이 구매유도이므로 실제 구매까지의 전환율로 측정 자주 사용하는 서비스의 지표자주 사용하는 서비스에서 제일 중요한 지표는 무엇일까요? 왜 해당 지표가 중요할까요?그 외 2개를 더 뽑는다면 어떤 지표가 있을까요?가상 서비스 개요(자주 사용하는 서비스 대신 강의청취중 생각난 아아디어로 진행해보았습니다.)온라인 강의 수강 중 실시간 피드백의 한계를 해결하기 위한 서비스강사가 통화 가능 시간을 표시하면 수강생이 전화를 걸어 1분 단위로 재화를 소모하며 멘토링을 받고,멘토는 포인트를 적립하는 구조.지표설계 OMTM: NRR Retention재화 소모 통화 후 지속적 재방문 및 재화 소모 여부 측정이유: 서비스가 돈을 지속적으로 사용할 만한 가치가 있는지 판단 Sub_1: 매칭 효율성시간대별 수강자수/멘토수 비율과 실제 연결비율 측정이유: 공급/수요 불균형 팡가 및 연결과정의 허들 식별 Sub_2: 통화품질서비스에 만족감을 느끼는지 파악하여 서비스 가치 판단통화 후 1분이내 팔로우 비율이유: 재통화 의향을 나타내는 즉시 반응 측정으로 만족도 평가통화 후 리뷰정성적 리뷰 데이터로 만족도 측정이유: 주관적 작성 요구로 품질 높은 피드백 확보통화시간분단위 비용 소모의 높은 허들을 파악 → 그 이상으로 통화하는 비율 측정이유: 높은 비용 부담에도 지속하는 통화는 서비스 가치 인정의 지표 퍼널 개선 프로젝트가입 퍼널 프로세스가 20%인데 이걸 개선하라는 미션가입에서 온보딩을 더 진행하는 기능을 만듬 → 온보딩 효과를 보려면 어떤 지표를?가입전환율: 기존 20% 전환율의 변화 측정으로 전체적 효과 확인온보딩 달성률: 초기 핵심 활동 달성수 / 가입수로 온보딩 목적 달성도 측정 1번을 풀다보니 궁금한게 있어 추가질문 드립니다!퍼널 분석 시 사용자가 중간에 다른 과정을 거쳐 목표에 도달하는 경우 어떻게 분석하나요?예시: 배달 서비스 메인영역 클릭 → (중간에 검색, 카테고리 탐색 등) → 장바구니/주문 완료이런 간접 경로를 통한 전환도 메인영역의 성과로 인정해야 하는지, 인정한다면 어떤 방식으로 측정하는지 궁금합니다.
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
데이터 로그 관련 질문
안녕하세요, 입사한지 약 두달된 신입 PM입니다.다름이 아니라 데이터 로그 설계에 대해 배우면서 어떤걸 만져야 하나 고민을 하고 있습니다. 회사가 amplitude나 GA를 주로 쓰지 않아서 카일님의 방법대로 로그를 설계하기 보다는 mixpanel 기반으로 AB하는게 대부분이더라구요. 그리 크지 않아서 그럴 수도 있겠지만요, 오늘 팀장님과 면담을 했을 때는 아직 로그기반으로 트래킹을 세밀하게 하고 있는 건 없는 듯 한데, 일단 기본적인 것부터 하고 나중에 생각해보라고 하시긴 하시네요 ㅋㅋ 그냥 mixpanel 기반으로 계속 해보고 나중에 하는게 좋겠죠 ?
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
2)AB Test 방법과 관련해서 질문 드립니다!
안녕하세요 카일스쿨님 데이터 수업 정말 잘 듣고 있습니다! 듣는 과정 중에 궁금한 점이 있는데요!수업명: 4-5. 지표 정의 Process수업시점: 2:25궁금한 부분[기존에 없던 신규 기능을 배포한 경우[ 케이스에서 A/B테스트를 하게 될 때 A: 신규 기능을 적용하지 않은 경우, B: 신규 기능을 적용한 경우로 비교 실험하는 것으로 이해했는데 맞을까요?혹은 A/B 각 군 모두 신규 기능 이되 UI/UX 형태를 다르게 해서 비교 실험을 해야하는 것일까요?감사합니다 :)
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
데이터분석가 역할?
안녕하세요, 좋은 강의 감사드립니다. 다 듣고나서 혼자 복습중에 궁금한게 생겨서 글을 씁니다. [질문1]데이터분석가는 비즈니스의 여러 프로세스에서 협업하는거라고 생각이 들었고, 제가 이해한 구분은 크게 이렇다고 이해했습니다.물론 일반화하기 어려운 부분이 있지만, 직무분석하고 탐색하는 취준생입장에서 아래와 같다고 생각하면 될지 문의드립니다. 1. BA (Business Analysis, 비즈니스 분석)“비즈니스 자체가 잘 굴러가고 있는가?”를 보는 분석1-1. [0 → 1 단계]제품/서비스가 나오기 전 → 시장 수요, 산업 동향, 경쟁사 분석TAM/SAM/SOM 추정, 사업성 검토(예: 이 시장에 진입하면 고객이 충분히 있나?)1-2. [1 → 100 단계]운영 중인 비즈니스 전체 관점 → 매출, 수익 구조, LTV/CAC, 운영 효율성 분석투자·확장·전략 수립을 위한 인사이트 제공(예: 마케팅 ROI, 재무 지표, 운영 효율 개선)2. PA (Product/Service Analysis, 제품·서비스 분석)“제품/서비스 자체가 잘 쓰이고 있는가?”를 보는 분석2-1. [0 → 1 단계]아이디어/MVP 단계 → 가설 검증, PMF(Product-Market Fit) 검토파일럿 유저 피드백 분석, 초기 코호트 분석(예: 우리 앱을 설치한 100명 중 30명이 계속 쓰는가?)2-2. [1 → 100 단계]이미 서비스가 굴러가는 상황 → 사용자 행동 분석, 기능별 리텐션/전환율, 개선 포인트 도출캠페인/홍보 효과 측정, 퍼널 분석, A/B 테스트(예: 이 버튼 디자인 바꾸면 구매율이 올라가는가?)1. BA = 비즈니스 단위(큰 그림, 돈/전략) → 주로경영진/창업자/전략팀과 소통2. PA = 제품 단위(사용자, 기능, 서비스 경험) → PM/개발/마케팅 팀과 소통 [질문 2]BA이든 PA이든 0->1 이든, 1->100의 과정이든 / 데이터분석의 직무를 하는 사람이라면 아래의 프로세스를 따르나? 문제와 지표와 상황이 다를뿐. 문제 정의 -> 지표 설정 -> 데이터 수집 -> 데이터 가공 및 전처리 -> 데이터 분석 -> 지표 검증 + 인사이트 추출 -> 액션 아이템 도출 -> 실행 후 결과 측정 -> 반복 [질문3]그럼 저 프로세스에서 일단 기술적으로 데이터분석/pm이 준비해야할 hard skill은? 이 정도인가? 엑셀, 파이썬, sql, tool(타블로, ga4 등) 정도? (더 나아가면 머신러닝/딥러닝까지?) 데이터 수집에 필요한 기술 [엑셀, 수집-ga4, 크롤링-Python] ,데이터 가공과 전처리 기술 [SQL / Python ],데이터 분석을 위한 기술 [Python / R ]시각화와 인사이트 추출 기술 [타블로, 파이썬]
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
7-3 Foodie Express 프로젝트 회고에 대해 질문이 있습니다.
안녕하세요7-3 Foodie Express 프로젝트 회고하기에서"지표 현황 공유 & Action 아이템 토론 및 정하기" 단계에 대해 궁금한 점이 있어서 질문드립니다. 현재 이해한 프로세스지표 현황 공유 → 지표 변화 확인 → 변화 원인에 대한 상세 분석 → 스토리 작성 → Logic tree 분석 → 액션 아이디어 발산 → 수렴을 통한 액션 아이템 선정 궁금한 점1. 지표 분석의 회의 진행 범위지표 현황을 공유한 다음, 팀원들과 함께 변화에 대해 하나씩 상세하게 고민하는 과정도 모두 회의에서 진행해야 하는 건지 궁금합니다.모든 과정을 회의에서 진행하면 시간이 상당히 오래 걸릴 것 같아서요.2. 발산-수렴 과정의 현실적 진행 방법에 대해서액션 아이디어 발산은 다양한 의견이 모이니까 회의에서 하는 게 좋을 것 같은데, 발산된 의견 중에서 수렴을 할 때는 데이터 검토 과정 없이 회의에서 바로 수렴해서 액션 아이템을 결정하는 건지 궁금합니다. 제가 생각하는 방향개인적으로는 효율성을 위해 역할과 단계를 나누는 것이 좋을 것 같다고 생각해봤습니다. 지표 분석: 기초 현황 파악과 1차 가설 설정은 PM이 사전에 준비회의에서는 핵심 이슈에 대한 팀원들의 다양한 관점과 인사이트 수집에 집중발산-수렴: 1차 회의: 액션 아이디어 발산 + 임팩트와 실행 가능성 기준으로 1차 필터링회의 후: 구체적인 데이터 검증 및 개발 공수 검토를 각자 진행2차 회의: 검토 결과를 바탕으로 최종 실행 계획 확정이런 식으로 발산 중심의 1차 회의 → 개별 검토 → 수렴 중심의 2차 회의 단계로 나누어 진행하는 것이 현실적일 것 같은데, 강사님께서는 어떻게 생각하시는지 조언을 구하고 싶습니다.감사합니다!
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
스타트업 개발자입니다. 강의 수강 목적 공유합니다.
저는 B2B SaaS를 만드는 4명짜리 스타트업에서 개발자로 일하고 있습니다. PM은 아니지만, 데이터 기반 의사결정에 대한 갈증이 커 강의를 수강하게 되었습니다. 현재 상황유저 100명 언저리에서 7개월째 머무르고 있음데이터 기반 의사결정의 필요성에 대해 막연한 공감대는 있지만, 기반 구축 비용과 기대 효과가 불분명해 도입이 계속 미뤄지고 있음 이로 인한 문제점근거 없는 의사결정의 악순환:업무 우선순위 결정 기준과 성과 측정 기준이 팀에 없음→ 개발 난이도 중심으로 의사결정, 요청이 오면 "만들 수 있으니까 일단 만들자" 방식→ 비즈니스 성과 측정 불가, 무엇을 개선해야 할지 파악할 수 없음 얻고자 하는 3가지1. 기대효과를 정의한다 = '데이터 기반 의사결정'의 개념과 효과를 나만의 언어로 정의하고 팀에 설득한다2. 비용을 파악한다 = 팀에 무엇이 없는지 파악하고 뭘 해야 하는지 안다3. 팀 단위 논의를 바탕으로 핵심 지표 1가지를 선정한다 열심히 수강해보겠습니다 ˗ˋˏ ♡ ˎˊ˗
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
+댓글 추가) 지표 정의하기 연습 문제 피드백 요청
안녕하세요, 카일스쿨님!지표 정의하기 연습 문제를 고민해서 풀어봤는데 맞는지 모르겠네요..ㅠㅠ시간되실 때 확인 부탁드리겠습니다! :)문제 1번. 기능 작동 확인- 성공 지표 : 영역 별 페이지 조회 수- 영역 별 해당 랜딩 페이지로 이동할 경우 잘 작동한 것으로 함 문제 2번. 검색 만족도 지표- 성공 지표 : 검색결과 목록 클릭율- 찾고자 하는 키워드를 검색 후 원하는 결과 목록이 있으면 클릭할 확률이 높음 문제 3번. 검색 필터 기능의 활성화 지표- 성공 지표 : 검색 필터 버튼 클릭율- 검색 필터의 사용 빈도가 높을수록 잘 사용된다고 볼 수 있음 문제 4번. 배달 서비스에서 가장 중요한 지표- 성공 지표 : 신규 유저 주문 전환율- 신규 유저가 첫 주문 후 배달 서비스에 만족할 경우 추가 주문할 확률이 높음 (핵심 가치 경험)- 첫 주문에서 만족도를 늘리기 위해선 아래 2가지가 필요└ 첫 주문 할인 쿠폰 제공 : 사용 기한은 최소 3일 or 7일(A/B 테스트 진행)로 정하고 짧은 시간 내에 주문을 할 수 있도록 유도└ 배달 소요 시간 단축 : 첫 주문에서 배달 시간이 오래 걸리면 재주문 확률이 낮아짐, 첫 주문엔 무조건 다이렉트로 받아 볼 수 있도록 함 문제 5번. 추천 알고리즘 성능 지표- 성공 지표 : 퍼널 전환율, 추천한 상품 구매 전환율- 각 퍼널 단계의 전환이 개선될 경우 제품 탐색 과정에서 고객 만족도가 상승했다고 볼 수 있음, 구매 전환율이 상승될 경우 유저에게 필요하고 관심있어하는 상품이 노출되었다고 볼 수 있음 문제 6번. 자주 사용하는 서비스 지표<당근 앱>- 성공 지표 : 리텐션율 (유저 간의 거래, 커뮤니티 등 서비스 내 여정에서 만족을 느낀 경우 다시 사용하는 비율이 높아질 수 있음)- 보조 지표 : User Engagement(거래를 한 번 이상한 유저는 리텐션율이 높아질 수 있음), Duration Time(커뮤니티 서비스에 만족해서 오래 머문 유저는 리텐션율이 높아질 수 있음) 문제 7번. 퍼널 개선 프로젝트- 성공 지표 : 온보딩 도달 직전과 도달 후 전환율- 온보딩 도달 직전까지 전환된 비율과 온보딩 도달 후 전환된 비율을 비교해서 이탈여부 등의 온보딩 효과를 파악할 수 있음
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
5-3 프로젝트 진행 Process관련 문의드립니다.
안녕하세요, 강사님.푸디 익스프레스 결제 전환율 개선 프로젝트 강의(6강) 잘 들었습니다.기존에는 강사님의 별도 채널에서 추천해주신 "데이터 문해력" 책을 바탕으로나름대로 실무 프레임워크를 구성해 사용해 왔습니다.이번 강의를 기반으로 개선하고자 방향을 정리 중에질문이 있어 문의 드립니다. ❓ 아래 흐름이 강의에서 말씀하신 구조와 일치하는 것인지 궁금합니다.1. 문제 정의 (or 지시 받기)2. 지표 정의3. 현상 파악 (퍼널에 이탈 구간 등) -> 집중할 구간 도출4. 해당 구간에 대한 다양한 가설 발산 -> 각 가설에 대한 심층분석을 진행 -> 결론도출 (심층분석 = 어떤현상이 발생?, 왜 발생?, 유저는 어떻게 행동?, 유저행동 시뮬레이션 등)5. 결론(원인)을 해결하기 위한 Action 고민 -> A, B 실험으로 가설검증 진행 ❓추가 질문Q: 상관계수, 산포도 등은 언제 사용하는 것이 적절한지, 혹은 사용을 지양해야 하는 상황이 있는지 궁금합니다.제 생각에는,가설별 지표를 정의한 이후 OR 결론을 도출한 이후초기 문제 정의시 설정한 지표 (혹인 지시받은 지표)와의 관련성을 확인해실험 우선순위를 판단하는 기준으로 참고할 수 있을 것 같은데요혹시 강사님이 생각하시는 적절한 사용 시점이나 맥락이 따로 있을까요?
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
데이터 로그 설계 강의에서 궁금한점이 있어 문의 드립니다.
안녕하세요데이터 로그 설계 강의에서 예시 로그를 위와 같이 해주셨었는데요최소 주문금액은 2만원이 되어야만 결제화면으로 넘어가니 아래와 같이 2만원이 넘은 시점에 클릭 이벤트가 한번 더 발생하는 로그가 있어야하는게 아닌가 싶어 문의 드립니다. 실무에서는 그런 로그는 따로 쌓지 않고결제화면으로 넘어갔으니 그걸로 충족을 하고 넘어왔겠구나라고 판단을 하는걸까요?
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
4-8 지표 정의 연습 문제
안녕하세요! 저는 프로덕트 디자이너를 희망하는 취준생입니다. 데이터 리터러시 강의를 처음 수강해봐서 제가 할 수 있는 선에서 진행을 해봤습니다. 부족한 부분이 많지만 제가 궁금한 점은 지금 제가 낸 답변에 대한 방향성이 맞는 지에 대한 여부입니다. 분명 해결책 측면에선 구체화되지 않고 부족하지만 전체적인 흐름이 맞는지 피드백을 듣고 싶어 질문을 남깁니다.문제 1. 1-1. 각 메뉴들의 ctr을 우선적으로 확인 (어떤 메뉴의 컴포넌트 영역이 가장 많이 클릭이 되었는 지 확인 필요)1-2. 탐색->매장->메뉴->주문->결제->완료로 음식점을 찾는 고객의 여정을 봤을 때퍼널의 끝인 결제 완료 화면에 지표가 많다면 결제하는 고객들이 많아지게 만든 것이므로 지표가 잘 동작했다고 볼 수 있습니다.문제 2.2-1. 검색 결과 화면검색 결과 후 화면을 클릭했는 지 확인이 필요하다고 생각합니다. 왜냐하면 검색이 잘 되면 계속 주문을 위한 다음 단계를 진행할 것이고 아니라면 이탈할 것이기 때문입니다.문제 3.3-1.검색 기능의 ctr : 사용자가 검색 기능에 얼마나 유입됐는지, 얼마나 자주 사용했는지필터 기능의 ctr : 사용자가 검색 후 필터까지 유입됐는지, 얼마나 자주 사용했는지3-2사용자가 필터 기능들을 적용 후 사용자가 필터 기능들을 적용 후 주문율 cvr이 증가했는지 문제 4.4-1. 주문 완료율 CVR이 가장 중요4-2. 배달 서비스의 최종적인 목적은 주문을 통해 수익을 내는 것이기 때문에 가장 중요한 지표라고 판단4-3. 늘리는 방법: 답 1: 쿠폰, 이벤트 프로모션이유: 혜택 쿠폰 및 이벤트 프로모션을 사용자에게 발행하면 사용자의 주문 전환율이 높아질 것이다답 2: 사용자가 자주 찾는 음식점 할인 쿠폰이유: 자주 사용하는 음식점의 할인 쿠폰을 사용자가 서비스에 접속했을 때 바로 확인할 수 있으면 주문 전환율이 높아질 것이다사용자 줄이는 방법: 답 1: 주문 완료까지의 뎁스를 길게 만들기이유: 주문 완료까지의 과정이 길어지면 중간에 이탈하는 사용자가 발생하면 주문 전환율이 감소할 것이다답 2:탐색 과정에서 원하는 음식점을 찾는 과정의 뎁스를 길게 만들기이유: 탐색 과정이 길어지면 중간에 이탈하는 사용자가 발생해 주문 전환율이 감소할 것이다답 3: 탐색 과정에서 원하는 음식점을 찾는 과정이 바로 나오지 않게 만들기이유: 탐색 과정에서 사용자가 원하는 조건에 맞는 음식점이 바로 나오지 않으면 사용자는 실망하고 이탈하게 될 것이다 문제 5.추천 상품의 클릭률 ctr: 추천 상품을 사용자에게 관심을 끌었는지추천 상품을 보고 결제로 전환되는 cvr: 추천 상품이 결제로 이어졌는지문제 66-1. 카카오톡에서 가장 중요한 지표는 접속 빈도에 대한 DAU 라고 생각합니다. 왜냐하면 카카오톡 서비스의 목적은 다른 사용자와의 소통이기 때문에 소통을 위해 얼마나 자주 방문하는 지 확인하는 것이 중요하다고 생각합니다.6-2. 카카오톡 체류시간에 대한 DAU가 중요하다고 생각합니다. 왜냐하면 서비스를 머무르는 시간에 따라 사용자가 사용하는 액션의 경우의 수가 다양해지기 때문입니다.문제 77-1. 답변 1: 온보딩 프로세스 완료율온보딩 프로세스 완료율이 높으면 사용자가 온보딩 과정이 필요하다고 인지하는 것이기 때문이고온보딩 프로세스 완료율이 낮으면 사용자가 온보딩 과정에서 부담을 느끼는 것이기 때문에 개선이 필요합니다.답변 2: 온보딩 프로세스 완료 후 가입율프로세스 완료 후 가입율이 높으면 사용자가 온보딩 과정에서 불만을 느끼지 않는 것이고가입율이 낮으면 온보딩 과정에서 사용자가 가입을 할 만큼 서비스에대한 이점을 어필하지 못한 것이라고 판단했습니다.
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
4-8 지표 정의 연습 문제 풀어봤습니다.
안녕하세요! 카일스쿨님! 좀 고민하고 풀어봤습니다.피드백해주시면 감사하겠습니다 ㅎㅎ 1. 기능별 사용도 측정 지표배달 서비스 내 다양한 기능(배너, 메뉴 카테고리, 이런 음식 어때요?, 동네 맛집 등)의 성과를 확인하기 위한 주요 지표CTR→ 각 기능이 얼마나 주목을 끌었는지를 측정→ 예: 배너 클릭수 / 배너 노출수CVR→ 각 기능을 통해 실제 결제로 이어진 비율→ 예: ‘이런 음식 어때요?’를 보고 결제한 비율기능별 매출 및 순이익→ 단순 클릭을 넘어서 실질적인 수익에 대한 기여도 확인시간대별 클릭/전환 분석→ 메뉴 카테고리나 추천 기능이 어떤 시간대에 잘 동작하는지 파악개인화 추천 정확도→ 사용자의 과거 행동 기반으로 추천이 얼마나 개인화되었는지 예: 평소 3시에 짜장면을 자주 주문하는 사용자가 해당 시간에 중국집 추천을 받는지 여부로컬 기반 추천의 신뢰도→ ‘동네 맛집’의 추천 기준이 실제 동네 트래픽/주문량에 기반했는가2. 검색 기능 만족도 지표검색 기능에 대한 고객 만족도를 확인하기 위한 주요 지표재검색률→ 검색 후 유사한 키워드로 다시 검색하는 비율→ 높을수록 검색결과 만족도가 낮음을 의미검색 후 클릭률 및 클릭 후 이탈률→ 검색 결과를 클릭했는지, 클릭 후 바로 이탈했는지→ 이탈률이 높으면 검색 품질에 문제가 있을 수 있음검색 후 장바구니 추가율 (CVR)→ 검색 결과가 실제 구매로 이어졌는지 확인정확도 기반 평가 (검색결과 일치도)→ 키워드와 결과의 정합성, 예: ‘치킨’ 검색 시 상위에 리뷰/배달비 기준의 적절한 가게가 노출되었는지3. 검색 필터 기능 성과 지표검색 필터 사용 활성화 및 성과를 측정하는 방법필터 사용률→ 검색 유저 중 필터 기능을 사용한 비율필터 사용 시 CVR 변화→ 필터 사용 전/후 구매 전환율 비교필터별 클릭률 및 장바구니 추가율→ 예: ‘배달비 낮음’ 필터 사용 시 어떤 가게들이 클릭되었는가4. 배달 서비스에서 가장 중요한 지표배달 서비스의 전반적 성과를 확인하기 위한 핵심 지표가맹점 가입률→ 플랫폼 규모 확대의 핵심주문 건수 (배달 트래픽)→ 실제 수익을 좌우하는 트래픽 지표장바구니 담기 비율→ 구매 의사 형성의 선행지표배달 취소율 (가드레일 지표)→ 낮을수록 고객 경험 품질이 높다는 지표배달 시간 / 고객 후기 품질→ 배달 품질 및 고객 만족도를 반영5. 추천 알고리즘 성능 지표추천 알고리즘이 잘 동작하고 있는지를 판단하기 위한 핵심 지표CTR (추천 상품 클릭률)→ 추천 상품이 사용자 관심을 얼마나 끌었는지CVR (추천→구매 전환율)→ 추천 결과가 구매로 이어졌는지카테고리 적합성→ 사용자 속성(성별, 나이 등)에 맞는 추천을 했는지→ 예: 여성 사용자에게 남성옷 추천 빈도 낮아야 함스크롤 뎁스 / 노출시간→ 추천 섹션이 얼마나 오래, 깊이 탐색되었는지유사 사용자와의 교차 추천 성과→ 나와 비슷한 사용자가 좋아한 상품이 효과적인가?6. 여러분들이 자주 사용하는 서비스의 지표서비스 1: 똑똑보카 (영어 학습 + 앱테크 서비스)1. 가장 중요한 지표: 광고 클릭률정의: 메인화면 또는 퀴즈 중간에 노출된 광고 대비 실제 클릭 비율이유: 똑똑보카의 수익모델(BM)은 광고 기반이며, 광고 클릭이 곧 수익으로 연결되므로 가장 핵심적인 지표2. 추가로 확인해야 할 지표광고 유지율→ 광고 유입 흐름 중 계속 유지 비율→ 광고 시청 시작 후 강제 종료하거나 앱을 나가버리는 비율로, 사용자 경험 저하나 보상 설계 문제를 점검할 수 있음연속 학습률→ 사용자가 며칠 연속으로 학습에 참여했는지를 나타내는 지표→ 영어 학습 앱으로서의 핵심 가치(지속적 학습)를 반영하며, DAU보다 질적인 사용자 유지 관리를 측정할 수 있음서비스 2: 유튜브 (유튜브 프리미엄으로 생각해보기)1. 가장 중요한 지표: 유튜브 프리미엄 가입률정의: 전체 사용자 중 유튜브 프리미엄에 가입한 비율이유: 유튜브의 수익원 중 광고 외 안정적인 구독 기반 수익을 의미하며, 장기적인 수익성과 만족도를 반영2. 추가로 확인해야 할 지표프리미엄 해지율→ 프리미엄 가입 후 일정 기간 내 해지하는 비율→ 사용자가 프리미엄에 만족하지 않았다는 신호로, 서비스 개선에 필요한 인사이트 제공추천 동영상 클릭률→ 유튜브가 메인화면, 사이드바, 자동재생 등을 통해 추천한 동영상의 클릭 비율→ 유튜브의 핵심 경쟁력인 추천 알고리즘 성능을 확인할 수 있는 핵심 지표7. 퍼널 개선 프로젝트문제현재 가입 퍼널의 전환율이 약 20%로 낮은 상태입니다.이를 개선하기 위해 온보딩 기능을 퍼널 안에 추가했으며, 온보딩이 가입 전환에 어떤 영향을 주는지 파악하고자 합니다.제안 아이디어온보딩을 가입 후가 아닌 가입 전으로 배치하는 전략대부분의 서비스는 ‘가입 → 온보딩’ 흐름을 따르지만,오히려 ‘온보딩 → 가입’ 흐름이 사용자에게 서비스에 대한 확신을 줄 수 있다고 판단합니다.예를 들어 일부 모바일 게임은 닉네임만 정하고 바로 체험을 시작하게 한 후, 일정 시점에 가입을 유도합니다.사용자가 실제 서비스를 경험한 뒤에 가입을 유도하는 방식은 전환율을 높이는 데 효과적일 수 있습니다.온보딩 효과 측정을 위한 핵심 지표온보딩 완료 후 가입 전환율온보딩을 완료한 사용자 중 가입까지 이어진 비율온보딩이 실제 가입 의사 형성에 도움이 되었는지를 측정온보딩 이탈률온보딩 도중 앱을 종료하거나 더 이상 진행하지 않은 비율온보딩 자체의 UX 문제나 피로도를 진단가입 전 체류 시간 / 페이지 뎁스가입 전에 사용자가 체험한 화면 수, 머무른 시간온보딩 체험이 몰입감을 주고 있는지를 간접적으로 측정A/B 테스트: 기존 퍼널 vs 온보딩 우선 퍼널두 버전을 나눠 퍼널 전환율을 비교 실험온보딩 전략 변경이 실제 전환율 개선으로 이어지는지 검증결론온보딩을 먼저 제공하면 사용자는 서비스를 직접 체험해볼 수 있고,그로 인해 “이 정도면 가입해볼 만하네”라는 확신을 갖고 자연스럽게 전환될 수 있습니다.따라서 기존의 ‘가입 → 온보딩’ 패턴 대신, ‘온보딩 → 가입’ 흐름을 실험해보고 그 효과를 위 지표들로 측정하는 것이 전략적으로 유의미합니다.
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
A/B Test에 대해 질문드립니다!
안녕하세요질문이 있어 문의 드립니다! 1. 강의 중 Foodie Express 페이지 전환율 계산에서 사용한 ‘수’의 기준이 유저별 고유 방문 수인지, 중복 방문까지 포함한 전체 방문 수인지 궁금합니다.1-1. 현재 업무에서는 가입 단계 로그를 수집하여 디바이스별 각 가입단계 첫 활동 일시를 기준으로 일 단위 전환율을 계산하고 평균을 확인하고 있습니다. 유저의 첫 활동 이후 행동은 고려하지 않는 방식인데, 이런 산출 방법이 적절한지도 궁금합니다. 2. SAAS 환경에서 단순 클릭 수나 페이지 전환율뿐만 아니라,유저에게 보여지는 알고리즘 값(추천 점수 등)에 대한 실험도 가능한가요?2-1. 이런 실험을 위해 Growth Book을 사용하는 것이 적합한지 궁금합니다. 3. 강의 중 Growth Book 관련 참고자료를 언급해 주셨는데, 위치를 못 찾겠습니다! 4. PM으로서 활용할 만한 레퍼런스 자료는 디스코드 ‘추천자료’ 채널에 있는 것이 맞나요?
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
강의 목적!
강의를 통해 얻고자 하는 3가지문제 해결 경험(이력)데이터 활용을 기반으로 실무 문제를 프로젝트 단위로 수행하여구체적 성과와 경험을 축적논리적 사고력·데이터 문해력 기반 의사결정 역량데이터 해석과 인사이트를 논리적으로 판단하고,이해관계자들과 효과적으로 소통·설득하는 사고력과 커뮤니케이션 능력 강화실무 기술 고도화 (분석, 통계, 시각화)데이터 추출, 처리, 통계 분석, 시각화 도구 활용 능력을 숙련하여 실무에서독립적으로 분석 업무 수행 가능 수준 도달 목표 달성을 위한 노력틈나는 모든 시간에 강의 청취회사 내 실무 문제 정의 및 해결에 배운 내용을 적극활용학습과 실무를 병행하며 역량 내재화 수강 후 나의 모습데이터 분석 업무를 독립적으로 수행 가능한 PM으로 성장회사 내 핵심 인재로 인정받음성과 기반 입지를 확고히 다지고이직을 통해 서울에서 새로운 성장과 삶을 개척!!!!!^^
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
수강목적 작성합니다:)
- 수강 목적마케팅 분야에서 데이터를 해석하고 활용하는 능력의 중요성을 절실히 느꼈습니다. 기존에는 감각과 기술 중심의 접근에 머물렀지만, 마케터로서 한 단계 더 성장하고자 본 강의를 수강하게 되었습니다. - 수강을 통해 얻고 싶은 3가지1. 데이터를 기반으로 사고력과 분석력을 기르는 방법 2. 사람들의 마음을 잘 읽고 반응을이끌어내는 마케팅 전략 3. 전환율을 높일 수 있는 실질적인방법과 사고방식 - 수강에 임하는 자세매일 조금씩 이라도 강의를 듣고, 복습하며배운 내용을 제 언어로 정리해 체화하겠습니다. - 목표하는 나의 모습사람들의 마음을 움직이는 마케터로성장하고 싶습니다.
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
6-7 연습문제 답변
연습 문제 #1. 기능이 잘 동작하고 있는지 확인하려면?배너 영역, 메뉴 카테고리, 이런 음식 어때요, 동네 맛집 기능이 잘 동작하고 있는지 확인하려면 어떤 지표를 확인해야 할까요?[해당 컴포넌트의 CTR] = [Click 수] / [View 수] = [click_home] / [view_home]각 컴포넌트 별 CTR은 component_name으로 구분[배너, 추천 주문전환율] = [주문 완료 중 추천 음식을 클릭한 수] / [주문 완료 수] = [is_recommend_food가 T인 order_complete] / [order_complete]Q. 위 지표를 보기 위해 데이터 로그 설계를 한다면 어떻게 할 수 있을까요? 연습문제 #2. 검색 만족도 지표고객이 검색 기능에 만족했는지 확인 하려면 어떤 지표를 봐야 할까요?검색 결과 컨텐츠 CTR = [컨텐츠 클릭 수] / [검색 시행 수] = [click_search_result_food] / [click_search]보조 지표 1: 주문전환율 = [is_search_result == T 인 order_complete] / [order_complete]보조 지표 2: 재검색 비율 = [page가 search_result인 click_search] / [page가 search_home인 click_search] Q. 위 지표를 보기 위해 데이터 로그 설계를 한다면 어떻게 할 수 있을까요? 연습 문제 #3. 검색 필터 기능의 활성화 지표검색 필터 기능은 잘 사용되고 있을까요? 필터 기능의 활 성화 지표를 정의하면 어떻게 할 수 있을까요?[필터 사용률] = [필터 적용 수] / [검색 시행 수] = [apply_filter] / [click_search]Q. 위 지표를 보기 위해 데이터 로그 설계를 한다면 어떻게 할 수 있을까요?
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
6-6 질문
6-6에서 예시 이벤트 설정 관련해서 질문이 있습니다. 최소 주문 금액을 넘지 않은 상태로 카트 페이지에 진입한 수를 view_recomment_food 이벤트로 측정하는데, page_view 자체에 is_meet_min_order_price 패러미터를 부여하지 않는 이유는 무엇인가요?주문전환율(CVR)을 측정할 때, click_recommend_food가 발생한 세션과 그 중 click_payment가 발생한 세션 수를 count 하지 않고 click_payment에 별도의 use_recommend_food라는 패러미터를 주어 count 해야 하는 이유는 무엇인가요?
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
지표 정의 연습문제.
연습 문제 #1. 기능이 잘 동작하고 있는지 확인하려면?당신은 배달 서비스를 담당하는 PM입니다.Q1. 배너 영역, 메뉴 카테고리, 이런 음식 어때요, 동네 맛집 기능이 잘 동작하고 있는지 확인하려면 어떤 지표를 확인해야 할까요?기본적으로 현재 스크린 내에서 해당 컴포넌트가 잘 기능하는지 보기 위해서는 해당 컴포넌트의 CTR( = Click 수 / View 수 )을 볼 수 있습니다.다만 배너(광고), 메뉴 영역과 다르게 ‘이런 음식 어때요’, ‘동네 맛집’ 컴포넌트는 개인화, 추천 의도가 있는 것으로 보입니다. 이 경우 보조 지표로 주문전환율( = 주문까지 완료한 수 / 클릭 세션 수 )를 본다면 추천 알고리즘이나 컨텐츠의 품질까지 판단할 수 있을 것입니다.Q2. 지표를 정의하고, 지표가 어떤 식으로 움직이면 잘 동작한다고 볼 수 있을까요?개별 컴포넌트 레벨에서는 CTR이 높아질수록 해당 기능이 잘 작동한다고 볼 수 있습니다.다만 스크린 내 구성요소들 전체의 클릭 비중을 보며 테스트해 홈 화면을 더 최적화할 수 있을 것입니다. 예를 들면, 배너 영역의 CTR이 높으나 주문전환율(매출 발생)이 낮고, ‘이런 음식 어때요?’은 CTR이 낮으나 주문전환율이 높다면, ‘이런 음식 어때요?’ 컴포넌트를 상위로 올리는 테스트를 해볼 것입니다. 연습 문제 #2. 검색 만족도 지표당신은 배달 서비스를 담당하는 PM입니다.Q1. 고객이 검색 기능에 만족했는지 확인 하려면 어떤 지표를 봐야 할까요? 검색하는 흐름을 떠올려보면서 그 안 에 있는 이벤트를 조합해보세요.우선 검색을 시행한 유저의 이후 퍼널을 (검색 → 상품 상세 페이지 → 장바구니 → 결제 → 주문완료)라고 가정하겠습니다.주요 지표: 검색 결과 컨텐츠 CTR검색의 가장 중요한 기능은 유저를 그가 찾고 있는 가장 이상적인 상품으로 보내주는 것입니다. 검색 결과로 유저가 찾는 것을 보여주었다면 유저는 그 상품을 클릭했을 가정 하에 검색 결과의 CTR을 가장 중요한 주요 지표로 보겠습니다.보조 지표 1: 주문전환율 (검색 이후 퍼널에서 주문 완료된 비율)유저가 검색을 하는 이유는 지금 주문하고 싶은 음식을 찾기 위해서 입니다. 따라서 검색을 실행한 세션이 이탈 없이 주문 완료 퍼널까지 진행되었다면 유저의 구매 의사가 있는, 유저가 원하는 결과를 제대로 보여주었다고 판단할 수 있습니다.다만 이 경우, 제품 상세 컨텐츠, 장바구니, 결제 과정 등 검색과 주문 사이에 여러 퍼널이 존재하기 때문에 직접적인 영향력은 작을 수 있어 보조 지표로 두었습니다.보조 지표 2: 재검색 비율 (검색 결과 페이지에서 다시 검색을 실행한 비율) & 재검색 횟수검색 결과 페이지에서 다음 퍼널 단계로 넘어가지 못하고 이탈(컨텐츠를 클릭 하지 않음)한다는 것은 검색 결과가 마음에 들지 않았다는 뜻으로 보입니다. 이탈 경로로 다시 검색을 한 유저는 검색에 대한 니즈가 강하나 검색 결과에 만족하지 못했다는 것이며, 따라서 재검색율은 검색 품질의 문제를 보여줄 수 있을 것입니다.다만 일반적으로 검색 수에 비해 재검색은 매우 적을 것으로 판단되며 큰 임팩트를 가져오는 개선을 만들어내기는 어려울 것 같아 보조지표로 두었습니다. 연습 문제 #3. 검색 필터 기능의 활성화 지표당신은 배달 서비스를 담당하는 PM입니다.Q1. 검색 필터 기능은 잘 사용되고 있을까요? 필터 기능의 활성화 지표를 정의하면 어떻게 할 수 있을까요? 검색 필터를 사용하는 흐름을 떠올려보면서 그 안에 있는 이벤트를 조합해보세요필터의 활성화 지표는 필터 사용률(필터 적용 수 / 검색 수)로 볼 수 있을 것입니다. 필터 적용은 컴포넌트 클릭보다는 필터링 된 리스트를 보낼 때 1회로 체크하는 것이 정확할 듯 합니다.필터 내부의 개별 항목들(ex. 가격, 카테고리 등)이 얼마나 클릭 되었는지 전체 클릭 수의 비중을 보고 필터 순서를 최적화할 수 있을 것입니다. 연습 문제 #4. 배달 서비스에서 가장 중요한 지표는?당신은 배달 서비스를 담당하는 PM입니다.Q1. 배달 서비스에서 가장 중요한 지표는 무엇일까요?배달 서비스에서 가장 중요한 지표는 주문 완료율입니다.Q2. 왜 그 지표가 중요할까요?배달 서비스를 사용하는 유저들의 궁극적인 과업은 음식을 주문하는 것이기 때문입니다. 배달 서비스는 그 과정에서 생기는 ‘사러 가기 귀찮다.’, ‘음식점 고르기가 어렵다.’ 등의 문제를 해결해줌으로써 유저의 목적 달성을 돕습니다. 유저가 음식을 주문했다는 것은 그러한 문제들을 해결하고 궁극적인 목표를 달성했다는 것입니다.Q3. 그것을 어떻게 늘릴 수(줄일 수) 있을까요?(서비스 실행 → 검색 & 카테고리 탐색 → 상세 페이지 → 장바구니 → 결제 → 주문 완료)이라는 퍼널을 가정하고 주문부터 역순으로 퍼널 이탈율을 보며 기능적인 개선점을 찾아보겠습니다.장바구니 → 결제 → 주문: 결제 단계를 최대한 간소화합니다.상세 페이지 → 장바구니: 상세 정보와 리뷰 등 판단 기준을 제공해 유저의 선택을 돕습니다. 유저가 주문할 메뉴를 선택하고 장바구니에 넣는 UX를 직관적으로 만듭니다.탐색 → 상세 페이지: 유저가 원하는 탐색 플로우(검색이든, 메뉴든)마다 컨텐츠 CVR을 최적화하겠습니다. 연습 문제 #5. 추천 알고리즘의 성능 지표여러분은 이커머스 서비스에서 추천 알고리즘을 만드는 조직의 PO입니다. 추천 알고리즘은 유저의 정보와 유저 로그를 토대로 구매할 것 같은 제품을 보여줍니다.Q1. 추천 알고리즘의 성능을 확인하기 위해 어떤 지표를 파악해야 할까요?CTR (추천 컨텐츠 클릭 수 / View 수)Q2. 왜 해당 지표일까요?추천 컴포넌트에 노출된 유저에게 적절한 상품을 추천해주었다면 유저는 그 상품을 클릭했을 것입니다. 또한 여러 페이지 별 추천 컴포넌트 간의 CTR을 비교하거나 한 페이지 내에서 위치에 따른 추천 컴포넌트 간의 CTR 변화를 비교함으로써 UX 측면의 개선점도 찾아낼 수 있습니다.보조 지표로 추천 컨텐츠를 클릭한 세션이 구매 완료 퍼널까지 도달하는 비율(구매 전환율)을 본다면 더 큰 임팩트를 만들어낼 수 있을 것입니다. 연습 문제 #6. 여러분들이 자주 사용하는 서비스의 지표Q1. 여러분들이 자주 사용하는 서비스에서 제일 중요한 지표는 무엇일까요? 왜 해당 지표 가 제일 중요할까요?요즘 듀오링고를 매일 사용하고 있습니다. 듀오링고에서 가장 중요한 지표는 D-1 리텐션입니다. 듀오링고는 매일 사용을 유도하며 습관 형성과 반복적인 학습을 통해 사용자의 언어 실력을 발전시키는 것을 목표로 하고 있습니다. 따라서 D-1 retention을 북극성 지표로 잡는다면 서비스 전체의 방향성을 강화할 수 있을 것입니다.Q2. 그 외에 확인해야 하는 지표를 2개 더 뽑는다면 무엇이 있을까요?Engagement Time: 기본적으로 유저들의 매일 사용을 유도한다면, 그 이후에는 매일 얼마나 많은 시간을 사용하는지가 중요합니다. 다만 실질적인 개발 과정에서는 engagement time을 증가시킬 수 있는 input metric들을 활용해야할 것입니다.구독(구매) 전환율: 모든 비즈니스는 매출을 발생시켜야하며 듀오링고의 주요 비즈니스 모델은 무료로 습관 형성 → 구독(구매)입니다. 따라서 유저의 구독 전환율을 본다면 비즈니스 모델이 얼마나 잘 작동하고 있는지 판단할 수 있습니다. 연습 문제 #7. 퍼널 개선 프로젝트여러분들은 가입 퍼널을 개선하라는 미션을 받았습니다. 현재 가입 퍼널 프로세스의 전환율은 약 20%며 가입 퍼널에서 온보딩을 더 진행하는 기능을 만들었습니다.Q1. 온보딩의 효과를 파악하려면 어떤 지표를 봐야할까요? 상상이 어렵다면 여러분들이 자주 사용하는 서비스를 가정하고 말씀하셔도 좋습니다온보딩의 목표는 처음 서비스를 접한 유저에게 서비스의 사용 방법을 학습시키고 결과적으로는 서비스를 잘 사용하게 만드는 것입니다. 따라서 온보딩이 효과적으로 이뤄졌다면 유저는 activate될 것입니다. 따라서 유저의 activation 비율을 보는 것이 온보딩의 효과를 파악하는데 가장 좋은 지표일 것입니다.
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
6-7. 데이터 로그 설계 연습 문제
안녕하십니까.4-8 지표 정의 연습 문제에서 피드백받은 부분을 더하여 데이터 로그 설계를 하였습니다. 문제점이 있으면 지적해주시면 감사하겠습니다. 1. 기능이 잘 동작하고 있는지 확인하려면?지표) CTR(기능 클릭 수 / 메인 페이지 호출 수)보조 지표) CVR(기능 클릭을 통해 구매한 수 / 기능 클릭 수), 기능 클릭 비율(각 기능 클릭 수 / 전체 기능 클릭 수) 지표 선정 이유메인 지표: CTR은 기업이 설정한 사용자 행동 패턴을 원할하게 이행을 하고 있는지 파악할 수 있는 지표입니다. 즉, 사용자가 해당 기능에 흥미를 가지고 클릭을 하고 사용을 하는지를 확인할 수 있습니다.보조 지표: CVR은 해당 기능을 통해 최종적으로 매출을 발생하는지를 확인할 수 있습니다. 또한, 기능 클릭 비율을 통해 사용자가 주로 사용하는 기능이 무엇인지 파악할 수 있습니다. Problem & Actioncase1) CTR은 높으나 CVR은 낮은 경우 -> 구매까지의 프로세스 탐색(구매 프로세스 피로도 개선)case2) CTR은 낮으나 CVR은 높은 경우 -> 기능 개선 방안 탐색(ex. 위치 조정, 메시지 문구 개선 등)case3) 특정 기능 클릭 비율이 낮은 경우 -> 해당 기능 클릭을 높이는 방안 탐색 계산CTR분자)click_home_functionevent_parametersession_iduser_idtimestamphome_function_idhome_function_type분모)view_homeevent_parametersession_iduser_idtimestampCVR분자)view_restaurantevent_parametersession_iduser_idtimestamprestaurant_idrestaurant_namerestaurant_categoryuse_home_functionuse_home_function_type분모)click_paymentevent_paramtersession_iduser_idtimestamppayment_idpayment_amountpayment_typeuse_home_functionuse_home_function_type 2. 검색 만족도 지표지표) mAP(mean Average Precision)보조 지표) CTR(검색 결과 클릭 수 / 검색 결과 페이지 호출 수) 지표 선정 이유메인 지표: mAP는 상위로 노출되는 순으로 가중치를 두어 사용자가 클릭을 한 위치를 점수화하여 평균을 낸 방법입니다. 즉, 클릭을 한 상품의 순서를 고려할 수 있습니다.보조 지표: 사용자가 검색을 하고 원하는 검색 결과가 나왔다면 클릭을 할 것입니다. 즉, CTR을 통해 사용자가 얼마나 결과를 만족하고 클릭을 하였는지 비율을 확인할 수 있습니다. Problem & Actioncase1) mAP가 낮은 경우 -> AP가 낮은 사용자를 분리하여 사용자 행동 탐색(사용자 특성 분석)case2) AP가 모두 낮은 경우 -> 검색 알고리즘 개선 방안 탐색(ex. 배달료 가중치 조정, 사용자 선호 카테고리 조정 등)case3) CTR이 낮은 경우 -> 검색 결과와 유사한 음식 추천 유도 기능 설계, UI 개선 계산mAPwith base as ( select search_session_id, search_list_rank, case when restaurant_id is not null then 1 else 0 end as is_relevant from click_search_list ), search_rank as ( select search_session_id, search_list_rank, sum(is_relevant) over ( partition by search_session_id order by rank ) as rel_k from base where is_relevant = 1 ), search_table as ( select search_session_id, rel_k/rank as precision_k from search_rank ), precision_table as ( select search_session_id, round(avg(precision_k), 4) as average_precision from search_table group by search_session_id ) select round(avg(average_precision),4) from precision_table; CTR분자)click_search_listevent_parametersession_idsearch_session_iduser_idtimestampsearch_wordsearch_list_rankrestaurant_idrestaurnat_namerestaurnat_category분모)view_searchevent_parametersession_iduser_idtimestampsearch_word 3. 검색 필터 기능의 활성화 지표지표) CTR(필터 기능 클릭 수 / 검색 결과 페이지 호출 수)보조 지표) 필터 기능 비율(각 필터 기능 클릭 수 / 전체 필터 클릭 수) 지표 선정 이유메인 지표: CTR은 통해 사용자가 검색 결과 페이지에서 필터기능을 인지하고 사용하는지를 비율을 통해 확인할 수 있습니다.보조 지표: 필터 기능 비율을 통해 사용자가 어떤 필터 기능을 많이 사용하는지를 확인할 수 있습니다. 이를 통해 사용자가 어떤 기능을 선호하는 지 알 수 있습니다. Problem & Actioncase1) CTR이 낮은 경우 -> 필터기능을 모를 것으로 예상, 튜토리얼 기능을 넣어 필터기능을 인지 시키기case2) 특정 필터 기능 비율이 낮은 경우 -> 특정 필터의 필요성 점검 계산CTR분자)click_filterevent_parametersession_iduser_idtimestampfilter_typefilter_values분모)view_searchevent_parametersession_iduser_idtimestampsearch_word필터 기능 비율with table as ( select filter_type, filter_values, sum(filter_values) as score from click_filter group by filter_type, filter_values ) select filter_type, filter_values, round(percent_rank() over (order by score desc) * 100, 2) as percentile from table order by percentile desc;
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
4-8 지표 정의 연습 문제
안녕하세요. 데이터분석가를 희망하고 있는 취업준비생입니다. 데이터 분석 모델링을 공부하면서 취업에 집중하였지만 생각대로 잘 되지않아 여러가지 자료를 찾으면서 문제점을 파악해보았습니다. 그렇게 제가 내린 결론은 데이터를 분석하는데 비즈니스적인 분석과 생각을 가지지 않고 분석을 실행한다는 것을 알게되었습니다. 평소 카일스쿨 블로그를 방문하다가 인프런에 비즈니스 강의를 제작하였다는 글을 보고 이렇게 구매하고 공부하고 있습니다. 커뮤니티를 빌려 좋은 강의를 만들어 주셔서 감사합니다. 조금은 부족하지만 아래의 문제를 지적해주시면 감사하겠습니다. #1. 기능이 잘 동작하고 있는지 확인하려면? 지표) CTR(각 기능 클릭 수/페이지 호출 수) 잘 동작하는지에 대한 제가 생각하는 정의는 사용자에게 페이지가 노출되었을 때 흥미를 가지고 기능을 클릭하는 것이 잘 동작한다고 생각합니다. 그렇기에 제가 정의한 지표는 위와 같이 CTR(각 기능 클릭 수 / 페이지 호출 수)라고 생각합니다. 페이지 호출 대비 클릭 수가 높을 수록 잘 동작한다고 볼 수 있을거 같습니다. #2. 검색 만족도 지표 지표) 체류 시간(Session별 평균 체류 시간) 고객이 검색 기능에 만족했는지 확인하려면 저는 체류 시간을 확인해봐야 된다고 생각합니다. 배달앱의 특징인 고객님이 거주하시는 곳 주변으로 검색이 됩니다. 만약 주변에 찾고하자는 곳이 없는 경우 검색 기능을 제대로 활용할 수 없기에 이와 같은 경우를 제외하고 검색 한 후 클릭한 배달집을 체류한 시간을 Session별로 나누어 확인해봐야된다고 생각합니다. #3. 검색 필터 기능의 활성화 지표지표) CTR(필터 클릭 수 / Distinct 유저 별 검색 페이지 노출 수) 검색 필터 기능을 잘 사용하는지 확인하고자 지표를 정의한다면 저는 CTR( 필터 클릭 수 / distinct 유저 별 검색 페이지 노출 수)로 정의할 거 같습니다. 검색을 할 때 필터를 사용하는 경우와 사용하지 않는 경우가 있습니다. 만약 고객이 사용한다면 필터를 인지하고 사용한다고 정의할 수 있습니다. #4. 배달 서비스에서 가장 중요한 지표는?지표) Funnel 배달 서비스에서 가장 중요하게 생각하는 지표는 Funnel이라고 생각합니다. 배달 서비스 앱, 웹을 만들 때 유저 Flow를 토대로 작성하고 개발을 진행합니다. 그와 부합하게 Funnel을 통해 고객이 우리가 의도하는 흐름대로 행동을 하고 도착을 하는지가 가장 중요한 지표라고 생각합니다.제가 생각하는 Funnel에서 고객이 구매까지 도착할 수 있게 확률을 높일 수 있는 방법은 총 두가지입니다.첫번째, 고객 맞춤 쿠폰 프로모션을 진행하여 구매를 유도하는 것입니다. 고객이 평소 주문하는 카테고리를 토대로 (점심 저녁시간) 알람을 통해 주기별로 쿠폰 안내를 드리면 배달 서비스에 접속하고 주문까지 유도를 할 확률이 높아질 것으로 예상됩니다.두번째, UI/UX 배치입니다. 배달 서비스를 이용해보면 자신이 찾고자 하는 페이지로 이동해야하는 경우가 있습니다. 이때 deep하게 들어가는 경우가 생기고, 이는 고객의 피로감을 늘릴 수 있습니다. 배치를 통해 deep하게 들어가는 방식에서 중간을 간소화하여 피로감을 줄이고 고객이 편안하게 이용한다면 주문까지 유도될 확률이 높아질 것으로 예상됩니다. #5. 추천 알고리즘 성능 지표지표) CVR(구매 수 / 추천 페이지 클릭 수) 제가 생각하는 추천 알고리즘의 성능을 확인하기 위한 지표는 (구매 수 / 추천 페이지 클릭 수)라고 생각합니다. 추천은 비슷한 고객들이 구매한 상품을 토대로 상품을 추천하거나 고객이 주문한 상품과 비슷한 상품을 예측하고 노출하는 방법으로 궁극적인 목적인 구매를 유도하기 위해서라고 생각합니다. 그렇기에 구매로 이어지는 지를 확인해야한다고 생각합니다. #6. 여러분들이 자주 사용하는 서비스 지표제가 생각하는 서비스) 게임(MMORPG)중요하게 생각하는 지표) AARRR 제가 가장 중요하게 생각하는 지표는 AARRR입니다. 그 중 Activation이 가장 중요하다고 생각합니다. 최근 다양한 상품이 생겨나고 기존 상품과 경쟁할 수 있는 상품들이 많아지고 있습니다. 가령 게임의 경우 타사의 게임만이 경쟁하는 것이 아닌 미디어 플랫폼과도 경쟁을 해야합니다. 그로인해 많은 고객을 유치하기는 어려워졌습니다. 제가 Activation을 중요하게 생각하는 이유가 위와 같은 이유로 고객의 유치는 어렵기에 고객이 상품을 첫경험했을 때 확실하게 잡아야 다른 사람들에게 권유하면서 파급효과를 볼 수 있기 때문입니다. 추가로 확인해야 하는 지표) 리텐션, 체류 시간제가 생각하기에 추가적으로 확인해야 하는 지표 2가지는 리텐션과 체류 시간입니다. 게임에서 가장 중요한 것이 고객들과의 상호작용입니다. 보스 레이드, 경매 등 고객들이 한정된 시간에 많이 있어야지 운영이 가능하고 이탈없이 꾸준히 성장을 하여 비슷한 경험치를 가진 고객들이 같이 성장해야 게임에서 생각하는 흐름이 이어질 수 있습니다. #7. 퍼널 개선 프로젝트지표) (가입자 수 / Distinct IP) & A/B Test 제가 생각하는 가입 퍼널에서 온보딩의 효과를 파악할 때 봐야하는 지표는 20%로 측정한 지표와 동일하게 봐야된다고 생각합니다. 또한 기존의 기능에서 개선된 기능을 비교하기 위해서는 A/B Test를 진행해야된다고 생각합니다. 기존의 지표가 정의되어있지 않기에 (가입자 수 / Distinct IP)로 정의하였습니다. 분모를 Distinct IP로 정의한 이유는 로그인하지 않고 사용자를 특정하기 힘들다고 생각했기에 IP를 이용하여 사용자를 특정해야겠다고 생각했습니다.
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
연습문제 풀기
안녕하세요 :)아직 기획업무를 한지 얼마 되지않아 제 답안에 확신은 없지만, 최대한 고민하고 적어보았습니다. Q1. 잘 동작한다의 정의가 다를 수 있지만, 단순히 동작하는 것을 넘어 매출에 긍정적인 영향을 미치는 것을 '잘 동작한다'라고 생각하고 문제를 풀었습니다.기본적으로 사람들이 해당 메뉴를 클릭하는지를 알 수 있는 CTR이 높게 나온다면, (정확한 수치는 잘 모르겠습니다.) 해당 기능이 잘 동작한다고 생각할 것 같습니다. 추가로 해당 메뉴를 클릭하고 구매전환률이 높게 나와야 해당 기능이 정말 의미가 있기 때문에 구매 CVR도 확인해볼 것 같습니다. Q2. 검색 기능에 만족했는지 알아보려면, 검색 후 나열된 리스트에 대한 CTR을 확인해보면 좋을 것 같습니다. 내가 검색한 내용과 무관한 가게들이 뜬다면 유저는 스크롤만 하고 클릭을 하지 않을 것이고, 의미 있는 가게들이 뜬다면 클릭을 하기 때문입니다. Q3. 검색 필터의 CTR을 확인할 것 같습니다. 따라서 검색 필터 자체를 얼마나 클릭하는지를 확인해보고(필터 기능을 아예 안쓸수도 있으니까), 필터 적용 후에 나열된 가게들을 클릭하는지(CTR)도 확인할 것 같습니다. Q4. 구매전환률이 가장 중요할 것 같습니다. 배달 서비스는 얼마나 많은 사람들이 자주 배달을 시켜먹는가?로 매출이 발생하기 때문에, 유저가 구매(배달 주문)과정까지 얼마나 이탈하지 않고 구매로 전환되는지가 쟁점이라고 생각합니다. 또한, 서비스 특성 상 재방문이 이루어지기 때문에 리텐션도 고려하면 좋을 것 같습니다. Q5. 유저의 구매CVR, 추천 아이템의 CTR을 파악해야 합니다. 추천 CTR의 경우, 알고리즘이 제대로 동작하지 않으며 엉뚱한 제품을 추천해 유저는 클릭을 하지 않을 것입니다. 또한 알고리즘이 추천한 제품을 클릭해서 상세 정보를 파악하고 실제 구매까지 이어져야 제대로 된 제품을 추천했다고 볼 수 있기 때문에 구매CVR도 중요한 지표라고 생각합니다. Q6. '카카오톡'라고 가정했을 때, 카톡은 메신저이기 때문에 얼마나 자주 서비스에 접속(PV)했는지를 볼 것 같습니다. 추가로 보면 좋을 지표는 서비스를 이탈하지 않고 얼마나 오래 있었는지(체류시간), 얼마나 많은 대화를 했는지를 볼 것 같습니다.(한람이 하루에 보낸 카톡 수, 이런 지표가 있는지는 모르겠습니다) Q7. 온보딩 후 가입 페이지의 PV, 가입 버튼의 CTR, 가입 CVR이 온보딩 전보다 높아졌다면, 효과가 있다고 판단할 것 같은데 이 문제는 잘 모르겠습니다.