묻고 답해요
164만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
4-8 지표 정의하기 연습 문제 풀이
안녕하세요. 저는 PM/PO를 희망하는 취업준비생입니다! 아직 PM/PO 관련 직무 경험은 없고요. 그래서 나름대로 신중하게 문제를 푸느라 문제 풀이에 오랜 시간이 소요되었는데, 피드백을 받아보고 싶어 Q&A를 남깁니다. 1번 문제메인 지표: CTR (특정 기능 클릭 수 / 메인 화면 진입 횟수)문제는 메인화면의 각 기능이 ‘잘 동작하는지’확인하는 것메인 화면의 특정 기능만을 언급하지 않음 → 특정 기능이 전환까지 잘 이어지는지 퍼널 관점에서 보는 것은 아니라고 판단메인 화면의 모든 기능을 언급하였음 → 각 기능을 비교하여 보아야 하는 문제라고 판단하였음잘 동작하는가 = 각 기능들이 화면 설계 단계에서 의도한 대로 유저의 관심을 끄는가따라서, 메인화면에서 각 기능이 유저의 관심을 얼마나 끄는지를 확인할 수 있는 ‘CTR’을 메인 지표로 선정하였음보조 지표: CVR (특정 기능 클릭 후 결제를 한 건수 / 특정 기능 클릭 수. 주문 전환율)CTR을 메인으로 보는 것은 맞으나, CVR을 보조 지표로 보면서 ‘주문’에 얼마나 기여하는지를 보아야 함특히 ‘이런 음식 어때요’, ‘동네 맛집’ 등의 기능은 특정 음식점을 바로 보여줌해당 기능을 클릭하면 메뉴 카테고리 및 음식점에 대한 유저의 선택지가 사라지고, 결제까지의 퍼널이 확 줄어듦(메뉴 선택 → 주문). 유저의 주문까지 이어지는 것을 고려하여 만든 기능은 CVR을 함께 보아야 한다고 생각함 2번 문제메인 지표 1: CVR (검색 화면 진입 후 결제를 한 건수 / 검색 화면 진입 횟수. 주문 전환율)검색 화면에 진입한 유저는 크게 ‘특정 메뉴나 식당을 정하고 앱을 작동한 유저 (1)’, ‘어떤 음식을 먹을지 고민하고 있는 유저 (2)’ 두 부류로 나눌 수 있음두 세그 모두 ‘단순 탐색’이 아닌, 주문을 염두에 두고 검색 화면으로 진입한 것이기 때문에, ‘주문까지 이어질 경우 ‘검색 기능에 만족했다’고 볼 수 있음.더 세부적으로 나누어, ‘직접 검색을 하는 유저’와 ‘실시간 검색어를 선택하는 유저’의 CVR을 따로 보면서 각 기능의 만족도를 보는 것도 가능함.메인 지표 2: 체류 시간(1)의 경우 이미 어떤 음식을 먹을지 결정을 내렸고, 주문 의사도 비교적 높기 때문에 빠르게 주문을 할 것.해당 세그는 이미 의사결정이 완료되었기 때문에, 검색 화면에서 다음 퍼널로 넘어가지 못하고 체류 시간이 길다면 만족도가 떨어질 확률이 높음(2)의 경우 어떤 음식을 먹을지 ‘결정하기 위해’ 검색 화면에 진입하였음.검색 화면에서 체류 시간이 길다면, ‘어떤 음식을 먹을지 고민하는’ 유저의 문제 상황을 검색 기능이 해결해주지 못함을 의미보조 지표: CTR (특정 기능 클릭 수 / 검색 화면 진입 횟수)직접 검색, 실시간 검색어, 최근 검색어 등 각 기능들의 클릭율을 보면서 각 기능들이 잘 작동하고 있는지를 파악단, 클릭율 만으로 ‘유저가 검색 기능에 만족했는지’를 파악하기는 어려움. 각 기능을 클릭였음에도 결제까지 이어지지 않는다면 ‘기능이 잘 동작했지만, 유저를 만족시키지는 못했음’을 의미하기 때문따라서 CTR은 핵심 지표로 보기 보다는 보조 지표로서 ‘각 기능이 잘 동작하고 있는지’를 파악하는 데 활용 3번 문제메인 지표: CTR유저가 필터 기능을 통해 원하는 가게 또는 메뉴를 찾으면 필터 기능이 잘 사용되고 있다고 할 수 있음따라서, 유저가 필터 기능을 사용한 후, 결과창에서 선택지를 클릭하는지를 본다면, 필터 기능이 잘 작동하는지 볼 수 있을 것결과 컴포넌트 클릭 수 / 필터 설정을 하지 않는 사용자 수결과 컴포넌트 클릭 수 / 특정 필터를 설정한 사용자 수필터를 따로 설정하지 않았을 때의 클릭율, 특정 필터를 설정했을 때의 클릭율을 각각 보면서 ‘어떤 필터를 썼을 때 유저가 원하는 식당 or 메뉴를 잘 찾는지’를 볼 수 있을 것CTR이 가장 높게 나오는 필터를 기본 설정 값으로 설정하고, CTR이 가장 낮게 나오는 필터를 하단에 배치하거나 제외하는 방식으로 기능을 개선할 수 있을 것 4번 문제서비스 접속 횟수(리텐션), 체류 시간대다수의 배달 서비스 유저는 ‘음식을 주문할 때’ 서비스를 이용함. ‘탐색’을 위해서 배달 서비스를 이용하는 경우는 극히 드뭄.‘서비스 접속 = 주문’으로 이어지는 경우가 대부분일단 배달 앱을 켜도록 만들면 주문으로 이어질 가능성이 높기 때문에 접속 횟수 자체를 늘릴 필요가 있고(접속 횟수 늘리기),배달 서비스를 이용하는 대부분의 유저는 ‘배가 고픈 상태’에서 ‘음식 주문’을 위해 서비스를 이용하기 때문에, 음식 주문에 오랜 시간이 소요되지 않아야 서비스 사용 경험이 긍정적일 것 (체류 시간 줄이기)서비스 접속 횟수를 늘리는 것은 유저가 음식을 자주 주문했던 시간에 푸시 알림을 보내는 등의 CRM 액션을 시도해볼 수 있을 것체류 시간을 줄이기 위해서는 주문까지 가는 퍼널을 간소화하거나(ex. 배민의 과거 주문했던 메뉴 바로 주문), 개인의 과거 주문 기록을 바탕으로 하여 맞춤 메뉴 추천을 하는 방법이 있을 것 5번 문제메인 지표: CTR (해당 메뉴 클릭 수 / 추천 알고리즘 화면 진입 수)추천 알고리즘이 유저의 취향에 맞게 메뉴를 제공하였으면 메뉴를 클릭할 것(맞춤 추천이 아니라고 생각하면 클릭하지 않을 것). 따라서 CTR을 메인 지표로 보는 것이 ‘추천 알고리즘의 성능’을 가늠하기에 가장 적합하다고 생각함보조 지표: CVR (해당 메뉴 결제 수 / 추천 메뉴 클릭 수)자신의 취향에 맞고, 지금 당장 끌리는 음식이라고 생각하면 주문까지 이어질 수 있음하지만, 과거에 많이 주문했던 음식이라고 하더라도 지금 시점에서 먹고 싶지 않을 수도 있고, 고민 중인 다른 선택지가 있을 수도 있기 때문에, 주문까지 이어지지 않았다고 해서 ‘추천 알고리즘의 성능이 저조하다’라고 단정지을 수 없음. 따라서 CVR은 보조 지표로서 봐야 함 6번 문제네이버웹툰핵심 지표: 요일별 1인당 평균 작품 소비 수웹툰은 요일 단위로 작품이 업로드됨. 유저의 콘텐츠 소비 역시 요일 단위로 루틴처럼 형성됨.특정 요일에 인기 작품이 편중되면 이러한 루틴이 깨지고, 리텐션이 약화될 수 있음따라서 요일별 콘텐츠 소비량을 볼 수 있는 ‘요일별 1인당 평균 작품 소비 수’를 보면서 지표가 낮은 요일에 인기 작가의 신규 작품을 배치하거나, 추천 푸시 알림을 강화하는 등의 액션으로 ‘균형 잡힌 소비 패턴’을 만들어야 함 7번 문제메인 지표: 서비스 가입 전환율 (온보딩 후 가입을 완료한 유저 / 온보딩 과정을 모두 완료한 유저)프로젝트의 목적이 ‘가입 퍼널 개선’이었기 때문에, 온보딩 기능의 도입 역시 ‘가입 단계에서의 전환율을 높이기 위한 것’이었음따라서 온보딩을 진행한 유저 중 얼마나 가입까지 이어졌는지를 본다면 온보딩 기능의 효과를 파악할 수 있을 것보조 지표: 온보딩 단계별 이탈율온보딩이 여러 단계에 걸쳐서 진행되는 기능이라면, 각 단계별로 이탈하는 유저가 얼마나 있는지를 파악하여 온보딩 기능을 개선할 수 있을 것 감사합니다!
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
4-8 지표 정의하기 연습 문제 풀이!
1번 문제[기능이 잘 동작하고 있는지 확인하려면?]| 문제 상황배달 서비스를 담당하는 PM입니다.배너 영역, 메뉴 카테고리, 이런 음식 어때요, 동네 맛집 기능이 잘 동작하고 있는지 확인하려면 어떤 지표를 확인해야 할까오?지표를 정의하고, 지표가 어떤식으로 움직이면 잘 동작한다고 볼 수 있을까요? | 목적기능이 잘 동작하고 있는지 확인 | Think(1) CVR(전환율) : 우선 우리의 목적은 해당 기능들이 잘 동작하고 있는지 확인하는 것이다. 해당 기능들은 홈 화면에서 음식점 화면으로 넘어가는 역할을 하기에 서비스 이용자들로 하여금 화면 전환이 중요하다고 생각한다. (2) CTR(클릭율) : 배달 서비스의 매출은 주문이 이루어지냐가 주가 되기 때문에, 주문의 시작이 되는 홈 화면 내 CTR을 확인해보면 잘 동작한다를 알 수 있을 것으로 보인다.CTR이 기존 대비 상승한다면 잘 동작한다고 볼 수 있을 것 같다.2번 문제[검색 만족도 지표]| 문제 상황배달 서비스를 담당하는 PM입니다.고객이 검색 기능에 만족했는지 확인하려면 어떤 지표를 봐야 할까요?검색하는 흐름을 떠올려보면서 그 안에 있는 이벤트를 조합해보세요. | 목적고객이 검색 기능에 만족했는지 확인 | Think(1) CTR(클릭율) : 지표로 CTR을 설정한 이유는 2가지가 있다. 첫번째로는 검색창 자체를 클릭하는 비율이다. 앞선 1번 문제에서처럼 배너 영역이 제공하는 곳을 클릭하는 사람들도 있지만, 검색 영역을 클릭하는 사람들도 존재한다. 검색 기능에 만족했다면 일정 기간 대비 배너 영역 CTR보다 검색 영역 CTR이 더 높게 나올거라고 생각한다.두번째로는 검색을 한 이후 검색 결과로 나온 음식점 페이지로 들어가는 CTR이다.3번 문제[검색 필터 기능의 활성화 지표]| 문제 상황배달 서비스를 담당하는 PM입니다.검색 필터 기능은 잘 사용되고 있을까요? 필터 기능의 활성화 지표를 정의하면 어떻게 할 수 있을까요?검색 필터를 사용하는 흐름을 떠올려보면서 그 안에 있는 이벤트를 조합해보세요. | 목적검색 필터 기능이 활용되고 있는지 확인 | Think(1) CVR(전환율) : 물론 CTR도 중요할 것으로 예상이 되지만 아무래도 검색 필터는 여러가지이기도 하고, 필터를 ON/OFF 할 때 클릭을 많이 하기 때문에 이걸로 기능이 잘 활용되고 있는지를 파악하는 것 자체가 어려울 것이라고 생각했다.그래서 CVR에 중점을 두어 생각해보았는데 검색 필터 기능을 개발하기 전 어느정도 기준치를 정해놓고 검색 필터를 설정한 이후 음식점 페이지로 들어가는지를 확인하면 검색 필터 기능의 활용도를 알 수 있을 거라고 생각한다.또는 일정 기간을 두어 (검색 영역에서 필터를 사용하지 않고 음식점 페이지에 들어가는 비율)-(검색 영역에서 필터를 사용하고 음식점 페이지에 들어가는 비율) 을 계산해서 검색 필터의 활용도를 알아내는 방법도 있을 것 같다.4번 문제[배달 서비스에서 가장 중요한 지표는?]| 문제 상황배달 서비스를 담당하는 PM입니다.배달 서비스에서 가장 중요한 지표는 무엇일까요? 왜 그 지표가 중요할까요?그것을 어떻게 늘릴 수(줄일 수) 있을까요? | 목적배달 서비스에서 가장 중요한 지표란? | Think(1) 주문 수 : 이 문제를 정의하고 해결하기 위해서는 정말 다양한 지표가 나올 수 있다고 생각한다. 다른 분들의 의견들도 다 다르게 나오기도 했다. 하지만 근본적으로 배달 서비스의 매출을 책임지고 기업 입장에서 순이익을 높이기 위해서는 주문 수가 많아야만 한다.배달 서비스는 주문을 통해서만 이루어지는 서비스이기 때문에 주문수를 통해 문제를 해결하는 방법이 가장 근본적인 방법이라고 생각한다.이는 리텐션의 문제일수도, 구매 전환의 문제일수도 있기에 AARRR/RARRA 두 방법 모두 사용 가능할 것으로 보인다. 2가지 방법을 통해 나온 결론을 A/B Test하여 결과를 도출하는 것이 좋을 것 같다.5번 문제[추천 알고리즘의 성능 지표]| 문제 상황여러분은 이커머스 서비스에서 추천 알고리즘을 만드는 조직의 PO입니다.추천 알고리즘은 유저의 정보와 유저 로그를 토대로 구매할 것 같은 제품을 보여줍니다.추천 알고리즘의 성능을 확인하기 위해 어떤 지표를 파악해야 할까요? 왜 해당 지표일까요? | 목적추천 알고리즘의 성능을 확인하기 위한 지표는? | Think(1) 카테고리별 CTR(클릭율) : 추천 알고리즘 자체가 유저의 정보와 로그를 바탕으로 구매할 것 같은 제품을 보여준다. 그렇다면 해당 유저가 자주 이용하는 카테고리별 CTR을 확인하고 페이지 전환이나 구매 전환까지 이루어지를 보면 될 것 같다. 추천 알고리즘과 카테고리별 CTR을 매칭해보면 알고리즘의 추천 성능이 어느정도 일치하고 불일치하는지 판단할 수 있을 것이다.6번 문제[여러분들이 자주 사용하는 서비스의 지표]| 문제 상황여러분들이 자주 사용하는 서비스에서 제일 중요한 지표는 무엇일까요? 왜 해당 지표가 제일 중요할까요?그 외에 확인해야 하는 지표를 2개 더 뽑는다면 무엇이 있을까요? | 목적성공 지표 1~2개 및 보조 지표 설정해보기 | Think[에듀테크 강의를 제공하는 구독형 서비스 기업, 코드잇]성공 지표(1) AU : 우선 구독형 서비스를 제공하는 기업이기 때문에 활성 사용자 수가 많아야만 그에 따른 소비자 구매건 수도 늘어나게 될 것이다.(2) 리텐션/이탈율 : 기존 소비자가 계속해서 구독을 이어나가야 하니 이탈율 감소를 위해 성공 지표로 설정했다. 보조 지표(1) 소비자 구매건 수 7번 문제[퍼널 개선 프로젝트]| 문제 상황여러분들은 가입 퍼널을 개선하라는 미션을 받았습니다.현재 가입 퍼널 프로세스 전환율은 약 20%며 가입 퍼널에서 온보딩을 더 진행하는 기능을 만들었습니다. 온보딩의 효과를 파악하려면 어떤 지표를 봐야할까요?상상이 어렵다면 여러분들이 자주 사용하는 서비스를 가정하고 말씀하셔도 좋습니다. | 목적가입 퍼널 내 추가된 온보딩의 효과를 파악하기 위한 지표 | Think(1) 가입 퍼널 프로세스 별 이탈율 : 전환율을 높이기 위해 온보딩을 더 진행하였기때문에, 프로세스 별 이탈율을 함께 보면 좋을 것 같다.(무작정 온보딩을 추가시킨다고 좋은게 아니고, 신규 가입자들이 어느 특정 프로세스에서 이탈하게 되는지를 파악하고 그 지점에서 온보딩 기능을 더 추가하거나 빼야하거나 하기 때문)-> 이 문제는 헷갈려서 제가 문제를 잘 이해하고 푼게 맞는기 의문이 드네요..! 선생님, 항상 감사합니다 !
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
4-8. 지표 정의 연습 문제 1번과 2번 피드백을 여쭐 수 있을까요?
안녕하세요! 저는 아직 1년이 안 된 UXUI 주니어 디자이너입니다.이제 막 시작하여 부족하지만, 연습문제를 풀어보았습니다!한 번에 다 풀기보단 두 개 먼저 풀고 피드백을 받은 후 다음 문제를 풀어보려고 먼저 두 개에 대한 피드백을 여쭙고 싶습니다. (강의 정말 잘 듣고 있습니다! 짧은 경력으로 스타트업에서 1인 디자이너이자 기획자로 업무를 진행하느라 부담이 있었습니다. 그런데 가장 어려웠던 부분인 로드맵과 체계 구성을, 카일 선생님 덕분에 정말 많은 부분이 더 좋아지고 있다고 느낍니다 😊😊) 문제 #1. 기능이 잘 동작하고 있는지 확인하려면?배너 영역, 메뉴 카테고리, 이런 음식 어때요, 동네 맛집 기능이 잘 동작하고 있는지 확인하려면 어떤 지표를 확인해야 할까요? 지표를 정의하고, 지표가 어떤식으로 움직이면 잘 동작한다고 볼 수 있을까요?1번 풀이.(1) 배너 / 카테고리 / 추천 / 주변 영역별 클릭률(2) 이탈 및 전환율→ '잘 동작'의 정의를 유저의 활용도로 정의했습니다. '활용도'는 다시 다음과 같이 두 가지로 나뉠 것 같습니다. (1) 배너 / 카테고리 / 추천 / 주변 영역별 클릭률 중 '10% 이하가 없어야' 잘 동작한다고 볼 수 있다"유저의 선택 및 결제에 충분히 도움을 주었는가?"영역별 클릭률을 통해 유저가 특히 어떤 기능에서 활발하게 상품을 탐색하는지, 유저가 상품을 선택하기 전 기준이 무엇인지 파악이 가능할 것이라고 가정했습니다.이때, 10% 이하는 매력도가 떨어지며 상품 선택을 할 때 '고려 대상이 아니라고' 가정하여 개선 대상이라고 정의할 수 있을 것 같습니다. 예를 들어서 배너 영역은 '프로모션 등 할인'이 중요하다 / 카테고리는 '먹고싶은 음식이 뚜렷하다' / 추천은 '뚜렷한 목적 보다는 별개의 상황에 의해 구매 전환을 유도할 수 있다' / 주변은 '빠른 배달'이 중요하다 등 파악이 가능하지 않을까 싶습니다.또한 클릭률이 심하게 떨어진다면, 배너 영역은 '카피라이트 혹은 프로모션 다양화' / 카테고리 영역은 '보다 세분화 혹은 아이콘 변경' / 추천은 '추천 알고리즘 점검' 등 액션을 취할 수 있을 것 같습니다.(2) 이탈 및 전환율이 '안정적'이라면 잘 동작한다고 볼 수 있다"유저가 목적을 달성할 수 있는가"'식사'는 접근성과 목적이 다양하지만, 퍼널을 통해 이탈과 전환을 파악하여 한쪽에 치우쳐있는지 특이한 행동은 없는지 확인하여 유저의 구매 행동을 불러일으키는 행동 패턴을 찾아 개선점을 찾을 수 있을 것이라고 가정했습니다.이때, (1)과 달리 구체적인 수치를 정의하는 것이 아닌 시기에 따른 이상 수치가 나오지 않는지 점검하는 것이 중요하다고 생각합니다.예를 들어 유저의 50%가 '카테고리' 영역에서 상품을 먼저 탐색하지만 결국 구매 전환이 '추천'에서 일어났다면 할인 쿠폰이나 이벤트 발행 / 광고 업체 모집 등으로 연결하여 A/B 테스트를 해보는 등입니다. 문제 #2. 검색 만족도 지표고객이 검색 기능에 만족했는지 확인 하려면 어떤 지표를 봐야 할까요? 검색하는 흐름을 떠올려보면서 그 안에 있는 이벤트를 조합해보세요2번 풀이.(1) 클릭률(클릭 이벤트) 및 클릭률 당 체류시간(2) 세션 당 검색횟수→ 검색을 한다는 것은 목적이 뚜렷하다는 것을 전제로 한다고 가정했습니다. 따라서 '만족' 여부를 원하는 목적을 얼마나 빠르게 달성했는지로 정의했습니다. 이때, 검색 화면이 따로 있기 때문에 목적 달성 또한 여러 개로 나누어 확인할 수 있을 것 같습니다. (1) 클릭률 및 클릭률 당 체류시간"'검색' 전 유저가 목표를 달성할 수 있는가"클릭 이벤트 : '검색바', '최근 검색어', '실시간 검색어', '배너' 중 어떤 것을 가장 많이 클릭하는지 확인합니다. 예를 들어 검색바에만 치중해 있다면 실시간 검색어 대신 '자주 주문한 가게'나 '일주일 중 검색량이 가장 많은 키워드 순위' 등으로 조절하는 등의 액션을 취해볼 수 있을 것 같습니다.체류시간 : '검색화면'에서 클릭률 대비 체류시간이 길다면 불필요한 고민 요소가 있는지 확인해야하 한다고 생각합니다.예를 들어, 유저가 한참 반응이 없다 '검색바'를 누른다면, 검색 페이지에 있는 컨텐츠를 줄여보는 등 액션을 취해볼 수 있을 것 같습니다.(2) 세션 당 검색횟수'유저가 얼마나 빠르고 정확하게 목표를 달성하는가"검색 횟수가 많은 경우를 MICE하게 나누어 케이별로 점검하여 개선 액션 세우기예를 들어, 유저가 단순히 고민이 많은 사람인 경우에는 홈 화면이나 검색 페이지에 추천 기능이나 키워드 기능을 강화하고 / 검색 결과가 충분하지 못한 것이라면 유사 키워드도 검색에 걸리도록 개발적으로 검토를 해보는 등 액션을 취할 수 있을 것 같습니다.
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
강의 수강 목적입니다!
카일님의 강의를 듣고 전 신입 PM으로서의 마음가짐, 능력, 성장 속도를 얻고 싶습니다. 그걸 위해 섹션별로 나누어 강의를 듣고 이에 대한 생각들과 복습 자료들을 노션에 기록할 예정입니다. 수강한 후, PM으로서의 커리어를 시작해 BigQuery 강의까지 들을 수 있게 데이터를 잘 다룰 수 있는사람이 되고 싶습니다!
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
6-7. 데이터 로그설계 연습 문제 제출합니다!
안녕하세요 카일님!6-7 데이터 로그설계 연습 문제 풀이 제출합니다! 인프런 작성보다 노션 정리가 더 가독성이 좋은 것 같아서 노션 링크로 제출합니다!tracking plan도 작성해보았는데 함께 피드백 해주시면 감사하겠습니다 😄 노션링크 : linktracking plan (google sheets) : link 감사합니다.
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
4-8. 지표 정의 연습 문제 피드백 부탁드립니다!
안녕하세요! 우선 질 좋은 강의 제공해주셔서 감사드립니다. 저는 3년차 UXUI디자이너이고, 이번에 프로덕트 디자이너로써 회사에서 요구하는 데이터 리터러시 역량을 키우기 위해 수강하고 있습니다. 4-8 지표 정의 연습문제 풀어보았는데요, 생각이 너무 많은 것인지 3일동안이나 고심해서 해봤는데 맞는 방향인지 잘 모르겠네요. 피드백 해주시면 감사할 것 같습니다! (양이 너무 많다면 한두개 정도만 해주셔도 도움이 많이 될 것 같습니다, 감사합니다)연습문제 #1. 기능이 잘 동작하고 있는지 확인하려면?각 영역에 대한 목적정의공통목적: 우선적으로는 사용자가 음식점 및 메뉴를 탐색 및 발견할 수 있도록 해주는 것이고, 결과적으로는 장바구니에 넣고 결제까지 이어지도록 해주는 것.배너: 다양한 프로모션, 할인혜택 등을 확인하고 ‘이벤트성 혜택'을 제공메뉴 카테고리: 사용자가 특정 메뉴를 탐색할 시 카테고리 진입을 통해 탐색 범위를 좁혀줌이런 음식은 어때요?: (사용자 데이터를 기반으로 추천한다고 가정) 사용자가 자주 먹는 음식이나 들여다보았던 메뉴 등을 추천하여 반복탐색과정의 피로를 줄임동네맛집: 픽업을 하거나, 배달소요시간이 중요하거나, 위치에 따라 적어지는 배달료등을 중요하게 생각하는 사용자에게 위치정보를 최우선적으로 고려한 가맹점을 보여줌확인해야할 지표와 정의A. 각 영역(배너, 메뉴카테고리, 음식추천, 동네맛집) 별 공통 지표영역별 CTR지표정의: 홈 화면 영역별 CTR (영역 클릭 / pv) 이유: 관심 및 반응 확인을 확인하게 위함 잘 동작한다의 시그널: CTR이 상승 및 유지. 그러나 다음 나올 2,3번도 같이 좋아져야 유효.각 영역 클릭 → 다음 퍼널 진입률지표정의: (홈)영역클릭 - (음식점 화면, 세부화면, 장바구니 화면 등등) - 결제완료 퍼널 이유: 특정 퍼널 진입 후 다음 단계로 전환율이 낮을 경우 어떤 지점에서 이탈하는지 파악하기 위함영역 유입 주문 전환율정의: 영역 별 주문 CVR (주문완료/영역 유입 수) 이유: 해당 영역이 실제 결과인 ‘주문'에 기여하는지 확인하기 위함영역 유입 주문/매출 기여 (Output)정의: 매출 (영역 유입 매출 / 전체 매출) 이유: CTR이 낮더라도 매출기여가 크면 전략적으로 중요한 영역일 수 도 있음B. 영역별 보조지표 (Sub Metric)배너(프로모션/혜택)지표) 혜택적용율 (혜택적용/주문완료) 이유) CTR은 상승하나 실제 주문완료율과 함께 혜택적용율이 적으면 혜택 등의 안내가 잘 안될 가능성이 있음이런 음식 어때요? (목적: 사용자기반 추천을 통해 반복탐색과정의 피로를 줄임)지표) 주문까지 걸리는 시간 (이런음식 어때요 영역 클릭 후 주문까지의 duration time / average 주문완료시간) 이유) ‘피로 감소'의 목적을 달성하는지 평균 주문시간과 비교하여 정량적으로 확인하기 위함동네맛집지표) 동네맛집의 평균 배달비 (동네맛집의 평균 배달비/전체 평균 배달비) 지표) 동네맛집 평균 주문완료율 (동네맛집의 주문완료율 / 전체 주문완료율) 이유) ‘거리/시간/배달료가 중요한 사용자에게 제공하는 것이 목적' 이라는 가설을 정량화하여 검증하기 위해 해당 가치들이 실제 선택으로 이어지는지 확인하기 위함C. 가드레일 지표전체 주문 전환율 (홈→주문완료)리텐션이유: 장기적으로 주문 전환율이 줄고 이탈율이 발생하면 안됨 (배달 앱 특성 상 전환율이 낮은데 매출이 상승하는 전략을 기대하기 어렵다고 생각하고, 유저의 수 가 더 직접적으로 매출과 직결될 것 같다는 가설을 세워봄) 연습 문제 #2. 검색만족도 지표검색 기능의 목적: 사용자가 입력한 쿼리에 대해 원하는 메뉴/음식점을 빠르고 정확하게 찾도록 돕는 것.---사용자의 검색 흐름:검색 키워드 입력 - 검색결과 탐색 - 결과 클릭 - 음식점/메뉴 상세 - 장바구니 담기 - 주문완료---검색 기능에 대한 만족의 정의:원하는 결과를 찾는 것최소한의 탐색만으로 해결이 되는 것재검색을 반복하지 않는 것검색이 주문까지 이어지는 것---만족했는지 확인하기 위한 메인 지표:재검색율 (재검색 세션 수 / 검색 세션 수)지표 선정 이유: 재검색 세션 수가 낮을 수록 검색결과가 정확하게 나왔다고 해석할 수 있음, 반대로 많으면 사용자가 기대하는 결과와 불일치 한다고 생각할 수 있음검색 - 주문 전환율 (검색 세션 중 주문 완료 수 / 검색 세션 수)지표 선정 이유: 검색 결과가 실제 주문(행동)으로 이어지는지 확인하기 위함 고려사항: 가격이나 리뷰 등 요소나 주문 전까지의 ux요소 등 검색-주문 퍼널에서 전환율에 영향을 주는 다른 변수들이 존재할 가능성이 높기 때문에 단독 사용 시 해석의 오류가 있을 수 있을 것 같음---보조지표검색 페이지 내 상위 결과 클릭률 (Top 3 결과 클릭 수 / 검색 세션 수)지표선정이유: 상위에 사용자의 의도와 일치하는 결과가 배치되었는지 확인하기 위함 (결과 정확도 측면)세션 당 평균 검색 횟수 (검색 수 / 검색 세션 수)지표선정이유: 1번과 비슷한 이유 (결과 정확도 측면)---가드레일 지표전체 주문 전환율전체 리텐션지표선정이유: 검색 최적화가 다른 퍼널에 악영향을 주지 않는지 확인. 연습 문제 #3. 검색 필터 기능의 활성화 지표검색필터의 목적 정의:검색 결과의 적합도를 높여 탐색 시간을 줄이고 재검색을 감소시키며 주문 전환율을 높이는 것성공지표:필터 사용 세션의 재검색률 (필터 사용 세션 중 재검색 발생 세션 수 / 필터 사용 세션 수) -실제로 필터가 정확도 높은 결과를 제공하는지 알기위함.필터 사용 세션 재검색율 vs 필터 미사용 재검색율 - 필터를 통한 결과가 유의미한지 알기위함필터 사용 세션의 장바구니 전환율 (필터 사용 세션 중 장바구니 전환 수 / 필터 사용 세션 수) - 필터가 구매의사 결정에 실제로 영향을 주는지 알기위함보조지표:필터 사용률 (필터 적용 수 / 검색 세션 수)검색-장바구니에서의 필터 사용 세션 duration (필터 사용 세션의 평균 duration / 전체 평균 duration)가드레일 지표:전체 주문 전환율전체 매출검색 미사용 세션 전환율리텐션 연습 문제 #4. 배달 서비스에서 가장 중요한 지표는?배달 서비스에서 가장 중요한 지표란 뭘까?보편적으로 가장 중요하다는 것은 해당 지표의 영향으로 인해 output metric이 긍정적으로 상승한다는 것 (매출, 리텐션 등)일 것이다. 배달 서비스는 트래픽이 유지되어야 가맹점들도 사용할 것 이고, 가맹점 수가 많아야 트래픽도 유지될 것 인데, 줄어드는 순간 시스템적으로 성장이 힘들고 정체할 가능성이 있으며 리텐션에도 영향을 줄 수 있다는 가설을 세움.중요한 지표:주문 빈도 (Active User 당 주문 수)주문 수 (전체 주문 수)이유: 사용자 규모, 리텐션, 구매의도를 종합적으로 반영한 지표라고 생각.위 지표들을 어떻게 늘릴 수 (줄일 수) 있을까요?퍼널 분석을 통해 이탈률이 높은 지점을 파악하고 이 지점의 문제를 정의하고 성공지표를 정의한 뒤, 해당 지표 달성을 위한 서비스 개선을 해야함.구체적으로는, 검색/탐색 퍼널을 최적화 시켜서 첫 주문 전환율을 개선시킨다거나, 개인화 추천 및 프로모션을 최적화 한다거나, 재주문 UX 개선으로 주문빈도를 늘린다거나 등.연습 문제 #5. 추천 알고리즘의 성능 지표추천알고리즘의 성능을 확인한다는 것 = 추천알고리즘기능의 목표를 달성하냐는 것.추천알고리즘의 목적 : 유저의 정보와 유저 로그를 토대로 구매할 것 같은 제품을 보여줌 추천알고리즘이 제대로 작동한다는 것 은?유저의 정보를 제대로 파악?유저의 로그를 제대로 파악?유저의 정보 및 로그가 추천하는 제품과의 연관성이 뚜렷함?유저가 추천 제품에 관심을 가짐?유저가 추천받은 제품이 실제 구매로 이어짐?구매로 많이 이어짐?유저가 추천 제품에 관심은 보였지만 실제 구매는 안함?추천 제품이 자연 탐색 제품 대비 구매율을 높임?이 것들을 확인하기 위해 어떤 지표를 파악해야할까요? 왜 해당 지표일까요?메인지표:추천 제품 CTR/pv (추천제품의 1차적인 관심도를 확인하기 위함)추천제품유입 구매 CVR (추천 제품 유입 구매율/전체구매율) - 실제 추천 제품이 구매까지 이어지는지 확인하기 위함보조지표:추천 노출 제품의 구매율 (추천노출제품 구매율 / 추천 노출 수)자연 노출 제품의 구매율 (자연 노출 제품의 구매율 / 추천 미노출 수)지표해석 (멘탈시뮬):만약 CTR은 높지만 CVR이 낮다면, 관심도는 높지만 실제로 구매까지 전환되지는 않는다는 것이고, 전환이 안된다는 것은 제품 클릭 전 initial기대치가 상세에서 충족되지 못하거나, 실제 가격, 배송비 등 다양한 변수 때문에 전환이 안된다고 가설을 세울 수 있음만약 CTR이 낮은데 CVR이 높다면 실제로 알고리즘은 잘 작동하지만 초반에 사용자의 관심을 제대로 끌지 못할 가능성이 있음. 이를 위해 관심을 더 끌기위한 전략을 세울 수 있을 것 같음.만약 CTR과 CVR이 모두 낮다면, 사용자가 추천제품에 관심이 없다는 뜻이고, 그렇다는 건 알고리즘이 제대로 작동하지 않는다고도 해석 할 수 있음. 연습 문제 #6. 자주 사용하는 서비스의 지표자주 사용하는 서비스: 오늘수거서비스개요: 사용자가 문 밖에 쓰레기봉투 안에 쓰레기를 넣고 수거요청을 하면, 밤 10시 이후 쓰레기를 수거해가고 무게에 따라 사용자에게 요금을 청구함.북극성지표: 우선 이 서비스의 북극성 지표는 반복사용과 연관된 지표일 것 같음. 우선 이 서비스의 수익 구조는 (활성 사용자 수 x 사용자당 수거 빈도 x 평균수거금액) 임. 그렇기 때문에 이 서비스는 사용이 해빗화가 되어야하고 (반복 사용), 생활 습관에 녹아들어야하는게 중요함. 그래서 결국 ‘반복 수거 신청'이 제일 중요할 거 같고, 또 쓰레기를 버리는 루틴을 봤을 때 주간 사용자들을 보는게 중요할 것 같음. 그래서 북극성 지표는 ‘WAU 중 주간 신청 완료율 (주간 수거 신청 완료 수 / 주간 활성 사용자 수)로 정의할 것 같음.메인 지표:수거 신청완료 전환율 (수거신청 완료 수 / 수거신청버튼 클릭 수)주간 리텐션보조지표:수거신청버튼 CTR (수거신청 버튼 클릭 수/ 홈 uv)혜택 사용 수거신청 CVR (혜택사용수거신청 수 / 전체 수거신청 수)연습 문제 #7. 퍼널 개선 프로젝트현재 가입 퍼널 프로세스의 전환율: 20%미션가입 퍼널을 개선해야함온보딩 기능의 효과를 파악해야함 미션을 달성한다면?온보딩 기능이 효과적이고 가입 퍼널이 개선된다면? - 가입 완료율이 높아지고, 가입한 사용자의 ‘질'이 높을 것 (질이 낮은 사용자는 바로 이탈하거나, 유령사용자 등)지표상으로 어떻게 파악해야 하나?메인지표: 가입 CVR (가입완료 수 / uv)보조지표: 온보딩 퍼널 단계별 전환율온보딩 진입 수 / 이전 단계 수온보딩 완료 수 / 온보딩 진입 수가입 완료 수 / 온보딩 완료 수가드레일 지표:가입 완료 후 초기 활성화 (가입 후 일주일 내 서비스 사용 수 / 가입완료수) 감사합니다!
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
이미 배포가 확정된 기능에 대한 ABT 진행에 대한 문의
안녕하세요. 저는 SaaS 플랫폼 회사에서 데이터 분석가로 일하고 있습니다.이번에 개발까지 약 2달이 소요된 기능이 퍼널 앞단에 추가될 예정인데요, 해당 기능에 대한 성과 분석이 필요한 상황입니다. 다만, 카일스쿨님의 강의를 들으면서 들었던 생각은 '시간을 이렇게 들여서 배포가 확정된 건인데, 이게 성과가 좋지 않다고 롤백을 할까? 내가 ABT를 하는게 어떤 의미가 있을까?' 생각이 들었습니다. 데이터 분석가로서 해당 기능을 추가는게 프로덕트 성과에 유의미하게 좋다/아니다라는 의사결정에 기여해야한다 생각했으나, 뭔가 실험의 느낌이 아니라 배포가 확정된 기능의 성과를 분석하는 것에 그치는 것 같다는 생각이 들었습니다. 어쩌피 배포가 확정된 것인데, 이게 기존 버전보다 성과가 좋은지 보기 위한 ABT(최종 출시 전에 50/50으로 ABT를 생각하고 있었습니다.)를 진행한 후에, 만약 새로운 버전의 성과가 좋지 않다면? 같은 멘탈 시뮬레이션을 해보았을때,, 그 안에서 어떤 개선을 하는게 좋을지에 대한 분석을 하는게 좋을지 롤백하자는 의견을 제안하는게 좋을지 여러 생각이 듭니다. 이런 경우는 ABT가 아니라 단순히 성과분석으로 이해하고 이에 목적을 맞춘 실험을 하는게 좋을까요? 이런 경우는 어떤식으로 접근하여 학습 내용을 적용할 수 있을지 방향성에 대한 조언을 듣고싶습니다. 항상 감사합니다!
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
4-8 지표 정의 풀이 피드백 부탁드립니다🙇♂
안녕하세요! 우선 강의 정말 잘 듣고 있습니다. 좋은 강의 만들어주셔서 감사합니다. #1. 기능이 잘 동작하고 있는지 확인하려면?배달 서비스를 담당하는 PM입니다. 배너 영역, 메뉴 카테고리, 이런 음식 어때요, 동네 맛집 기능이 잘 동작하고 있는지 확인하려면 어떤 지표를 확인해야 할까요? 지표를 정의하고, 지표가 어떤식으로 움직이면 잘 동작한다고 볼 수 있을까요?각 기능의 목적을 생각한 뒤, 목적을 달성하고 있는지를 파악할 수 있는 지표로 설정했습니다. 목적배너: 이벤트 등 홍보하기 위한 기능메뉴 카테고리: 사용자가 어떤 음식을 먹을 지는 정해진 상황. 어떤 가게에서 먹을지를 도와주는 기능이런 음식 어때요 & 동네 맛집 기능: 어떤 음식을 먹을지 고민하는 상황에서 추천해주는 기능지표 - 배너메인 지표: CTR(배너 카테고리 클릭/home UV) 사람들이 관심을 많이 가지는지를 파악하기 위해 CTR을 설정하겠습니다.지표 - 메뉴 카테고리메인 지표: CTR(메뉴 카테고리 클릭/home UV), CVR(food_detaul 카트 담기 버튼 클릭 수/메뉴 카테고리 클릭 수)사람들이 메뉴 카테고리를 많이 사용하는지 파악하기 위해 CTR을, 실제로 가게를 선택해 주문까지 이어지는지 보기 위해 주문 담기 버튼 클릭 CVR을 설정했습니다. 메뉴 카테고리의 목적이 음식은 정해졌지만 어떤 가게에서 먹을지 고민인 사람을 도와준다고 생각했기에 실제 가게를 선택해 주문이 발생하는지 파악해야 된다고 생각했기 때문입니다.지표- 이런 음식 어때요 & 동네 맛집 기능메인 지표: CTR(각 기능 클릭/home UV), CVR(food_detaul 카트 담기 버튼 클릭 수/각 기능 클릭 수)유저가 해당 기능에 관심을 가지는지를 파악하기 위해 CTR을, 추천이 주문으로 이어지는지 파악하기 위해 CVR을 설정했습니다.#2. 검색 만족도 지표배달 서비스를 담당하는 PM입니다. 고객이 검색 기능에 만족했는지 확인하려면 어떤 지표를 봐야 할까요? 검색하는 흐름을 떠올려보면서 그 안에 있는 이벤트를 조합해보세요.목적사용자가 원하던 메뉴, 매장을 정확하게 찾아주거나 제안하는 것이 기능의 목적이라고 생각했습니다.지표메인 지표: search_result 페이지 -> restaurant CTR(restaurant 1번 이상 클릭수/search_result UV)보조 지표: search → cart CVR, search_result 상위 10개 restaurant CTRsearch_result 페이지에서 실제 가게를 구체적으로 보는 것을 목적 달성으로 봤습니다. 추가로 검색한 결과가 주문으로 이어저야 된다고 생각해 cart로의 CVR을, 검색이 정확하면 검색 결과 상위 10개 내에서 클릭되었을 것이라 생각해 보조 지표를 설정했습니다.문제를 풀면서 검색 기능에서 cart로의 CVR을 같이 봐야 할 지가 고민이었습니다. 전 검색이 주문에 도움이 되어야 제대로 작동한다고 생각해서 포함시켰는데, 카일님의 의견을 여쭙고 싶습니다!#3. 검색 필터 기능의 활성화 지표배달 서비스를 담당하는 PM입니다. 검색 필터 기능은 잘 사용되고 있을까요? 필터 기능의 활성화 지표를 정의하면 어떻게 할 수 있을까요? 검색 필터를 사용하는 흐름을 떠올려보면서 그 안에 있는 이벤트를 조합해보세요목적필터 기능의 목적을 잘 달성하고 있는지search_result 화면에서 사용자가 얼마나 쓰는지지표메인 지표: 필터 사용 안한 경우의 restaurant CTR <<< 필터 사용한 경우의 restarurant CTR(가게 클릭 수/필터 적용된 화면 UV) , 필터 기능 사용률(필터 적용된 화면 UV/search_result UV)#4. 배달 서비스에서 가장 중요한 지표는?배달 서비스를 담당하는 PM입니다. 배달 서비스에서 가장 중요한 지표는 무엇일까요? 왜 그 지표가 중요할까요? 그것을 어떻게 늘릴 수(줄일 수) 있을까요?목적고객이 배달 주문을 하는 것. 지표메인 지표: 주간 주문수보조 지표: WAU, 주문 CVR(order_success UV/home UV), 주간 재주문율결국 고객이 배달을 시켰을 때 플랫폼의 목적이 달성된다고 생각해 메인 지표를 주문수로 설정했고, 배달 특성상 매일 사용하는 것보다는 주별로 사용한다고 생각해서 기간을 7일로 설정했습니다.주간 주문수 = WAU * 주문 전환율이라고 생각해서 보조 지표를 설정했고, 유저 경험이 만족스러웠는지를 파악하기 위해 재주문율을 추가로 설정했습니다.#5. 추천 알고리즘의 성능 지표여러분은 이커머스 서비스에서 추천 알고리즘을 만드는 조직의 PO입니다. 추천 알고리즘은 유저의 정보와 유저 로그를 토대로 구매할 것 같은 제품을 보여줍니다. 추천 알고리즘의 성능을 확인하기 위해 어떤 지표를 파악해야 할까요? 왜 해당 지표일까요?목적추천 알고리즘으로 구매 허들을 낮춘다.지표핵심 지표: 일반 상품 구매 전환율 <<< 알고리즘 상품 구매 전환율보조 지표: 일반 상품 리뷰 평점 <<< 알고리즘 상품 리뷰 평점추천 상품이 매력적이었는지를 판단하기 위해 알고리즘 추천 상품이 일반 상품보다 구매 전환율이 높은지 파악하려고 합니다. 또한 추천 상품이 실제로 만족스러웠는지 파악하기 위해 리뷰 평점도 같이 확인하겠습니다.#6. 여러분들이 자주 사용하는 서비스의 지표여러분들이 자주 사용하는 서비스에서 제일 중요한 지표는 무엇일까요? 왜 해당 지표가 제일 중요할까요? 그 외에 확인해야 하는 지표를 2개 더 뽑는다면 무엇이 있을까요?지표 - 당근핵심 지표: DAU(활성화 기준: 앱 접속) 보조 지표: 평균 체류 시간, 월 평균 거래액플랫폼이고, 메인 BM이 광고인 점을 고려해 얼마나 많은 사람들이 앱에서 활동하는지가 가장 중요하다고 생각했습니다. 또한 당근페이로 추가 수익을 창출한다는 점과 앱 내에서 거래가 중고 거래, 로컬 비즈니스 등의 기능의 활동을 파악할 수 있어서 월 평균 거래액을 설정했습니다.#7. 퍼널 개선 프로젝트여러분들은 가입 퍼널을 개선하라는 미션을 받았습니다. 현재 가입 퍼널 프로세스의 전환율은 약 20%며 가입 퍼널에서 온보딩을 더 진행하는 기능을 만들었습니다. 온보딩의 효과를 파악하려면 어떤 지표를 봐야할까요? 상상이 어렵다면 여러분들이 자주 사용하는 서비스를 가정하고 말씀하셔도 좋습니다 일반적인 커머스를 가정하고 생각해봤습니다.목적회원가입을 유도한다.서비스에 대한 기대를 만든다.서비스의 핵심 기능을 경험한다.지표회원가입 전환율첫 주문 전환율(회원가입 후 2주 이내 첫 구매자 수/회원가입 수)회원가입을 유도하고 서비스에 대한 기대를 만들어 서비스의 핵심 기능을 사용하도록 유도해야 한다고 생각했습니다. 통상적으로 커머스에서의 핵심 경험은 '주문'이라고 생각해서 온보딩이 주문으로 이어지는지 파악하려고 지표를 설정했습니다. 긴 글 읽어주셔서 감사합니다!! 🙇♂🙇♂
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
강의 목적입니다.
얻고 싶은 3가지프로덕트 데이터 분석에 대한 전문 심화 지식프로덕트 데이터 분석 토이 프로젝트수요예측 데이터 분석가 -> 프로덕트 데이터 분석가로서의 직무 전환 (이직) 해야 할 노력학습 내용 정리하기실제 업무에 적용시켜보기토이 프로젝트 진행위 과정들 전부 기록하기 수강 한 후 모습현재 데이터 분석 경력을 기반으로, 프로덕트 데이터 분석에 대한 전문성을 쌓았고, 그로 인해 누구에게나 인정받는 프로덕트 데이터 분석가
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
6-4 데이터 로그 설계 프로세스 강의 관련 질문
저는 약 1년 전에 현재 다니는 직장으로 이직을 온 기획자 입니다(현재는 육아 휴직 중이며, 짬내어 강의를 듣는 중). 민망하지만, 이제까지 데이터 로그 설계의 개념에 대해 접하지 못했으며, 강의를 들으니 실무할 때 데이터 로그 설계가 꼭 필요하다 라는 것을 인지하게 되었습니다. 현 회사에서 그간 업무를 하며, 데이터 로그 설계에 대한 업무 요청을 받은 적이 없기 때문에 저희 회사에서는 이제까지 따로 로그 설계를 하고 있는 사람이 없다고 판단되는데요.마찬가지로, DW에 대해서는 들어본 적이 없습니다. 다만, 마케팅팀에서 CDP를 사용하고 있는 것으로 알고 있으며, 저는 주로 AA를 통해 지표를 확인하고 있습니다.(AA로 특정 버튼에 대한 값들은 data-link-category, data-link-area, data-link-name의 태깅을 설계하고 정의함) 질문 1 : 위 AA 버튼 태깅 정의 값들은 HTML 소스코드에 저장이 되는데, 이게 말씀하신 로그 설계와 유사한 작업인가요? 질문 2: 강의에서 보여주신 로그 설계 문서도, 개발자분들이 html 소스에 저장을 하며 이게 파일 형태로 관리되는 것 인가요? 질문 3 : 저희는 CDP를 통해 서버 로그와, 클라이언트 로그를 확인할 수 있는 것인가요?>> 이럴 경우 AA는 보조 툴 정도인지..
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
4-8 지표정의 문제 풀이 입니다
안녕하세요 곧 회사 앱의 첫 배포를 앞두고 있는 1년차 프로덕트 디자이너 입니다.소규모 스타트업에서 1인 디자이너로 일하다 보니 앱 기획부터 디자인까지 전반을 리드하는 역할을 맡게 되었습니다.배포 이후에 데이터를 전략 수립과 의사결정의 근거로 활용하고 싶어 이번 강의를 듣게 되었고요.지표 정의 문제는 스스로 사고력을 기르고 싶어서 GPT 도움 없이 풀어봤습니다.완강 후에는 GPT를 활용해 한 번 더 정리해보려고 합니다.피드백 부탁드립니다! 😊#1. 기능이 잘 동작하고 있는지 확인하려면?배달 서비스를 담당하는 PM입니다. 배너 영역, 메뉴 카테고리, 이런 음식 어때요, 동네 맛집 기능이 잘 동작하고 있는지 확인하려면 어떤 지표를 확인해야 할까요? 지표를 정의하고, 지표가 어떤식으로 움직이면 잘 동작한다고 볼 수 있을까요?성과 지표: DAU 리텐션 (각 영역이 잘 동작하면 -> 사용자 만족도가 높아짐 -> 재접속)보조 지표: 한 세션의 앱 체류 시간이 점점 길어지는 형태가드레일 지표: 수익이 떨어지면 안됨#2. 검색 만족도 지표배달 서비스를 담당하는 PM입니다. 고객이 검색 기능에 만족했는지 확인하려면 어떤 지표를 봐야 할까요? 검색하는 흐름을 떠올려보면서 그 안에 있는 이벤트를 조합해보세요 성과 지표: 검색 필드 클릭 후 구매까지 CVR보조 지표: 검색 최 상단 아이템 CTR(검색 결과 상단에 위치할 수록 검색어에 최적화된 아이템일 것이기 때문)가드레일 지표: 검색창 UV 수가 떨어지면 안됨#3. 검색 필터 기능의 활성화 지표배달 서비스를 담당하는 PM입니다. 검색 필터 기능은 잘 사용되고 있을까요? 필터 기능의 활성화 지표를 정의하면 어떻게 할 수 있을까요? 검색 필터를 사용하는 흐름을 떠올려보면서 그 안에 있는 이벤트를 조합해보세요성과 지표: 검색 필터 클릭 이후 검색 최 상단 아이템 CTR(검색 결과 상단에 위치할 수록 검색어에 최적화된 아이템일 것이기 때문)보조 지표: 제품 구매까지 CVR가드레일 지표: DAU 리텐션이 떨어지면 안됨#4. 배달 서비스에서 가장 중요한 지표는?배달 서비스를 담당하는 PM입니다. 배달 서비스에서 가장 중요한 지표는 무엇일까요? 왜 그 지표가 중요할까요? 그것을 어떻게 늘릴 수(줄일 수) 있을까요?성과 지표: DAU 리텐션 여기서 active란 배달 음식 결제 완료보조 지표: 배달 음식점들 각각 페이지 UV가드레일 지표: CX 해결 리드타임 1시간 이내배달 서비스가 잘 되려면roi가 좋아야 하고공급(음식점 입점)과 수요(사용자 어플 유입)가 많아야 함 따라서 적은 광고 비용으로 많은 음식점을 입점 시키려면 DAU 리텐션이 높아서 음식점이 알아서 찾아오게 해야됨#5. 추천 알고리즘의 성능 지표여러분은 이커머스 서비스에서 추천 알고리즘을 만드는 조직의 PO입니다. 추천 알고리즘은 유저의 정보와 유저 로그를 토대로 구매할 것 같은 제품을 보여줍니다. 추천 알고리즘의 성능을 확인하기 위해 어떤 지표를 파악해야 할까요? 왜 해당 지표일까요?성과 지표: 추천 알고리즘 화면을 보고 구매 전환까지 가는 CVR보조 지표: 추천 알고리즘 화면 스크롤 30% 이상가드레일 지표: 객단가는 떨어지면 안됨추천 알고리즘 경험 후 와우모먼트를 경험한 사용자는 구매 전환 확률이 높음스크롤 깊이는 구매 의도 수준의 직접적 시그널. 30% 미만은 탐색만, 30% 이상은 의사결정 과정 진입할 것#6. 여러분들이 자주 사용하는 서비스의 지표여러분들이 자주 사용하는 서비스에서 제일 중요한 지표는 무엇일까요? 왜 해당 지표가 제일 중요할까요? 그 외에 확인해야 하는 지표를 2개 더 뽑는다면 무엇이 있을까요?유튜브중요 지표: 사용자 체류 시간why: 유투브의 수익모델은 광고, 구독료로 추정 됨체류시간이 높은 유저는 유튜브 콘텐츠에 몰입하고 있는 유저일 확률이 크고 콘텐츠에 몰입하는 유저일 수록 광고 UV와 구독 전환률이 높을 것임그외 확인해야 하는 지표: MAU 리텐션(여기서 active는 영상 ctr), 사용자 접속 시간대별 체류시간 상관관계 (푸시알림 등 활용 가능)#7. 퍼널 개선 프로젝트여러분들은 가입 퍼널을 개선하라는 미션을 받았습니다. 현재 가입 퍼널 프로세스의 전환율은 약 20%며 가입 퍼널에서 온보딩을 더 진행하는 기능을 만들었습니다. 온보딩의 효과를 파악하려면 어떤 지표를 봐야할까요? 상상이 어렵다면 여러분들이 자주 사용하는 서비스를 가정하고 말씀하셔도 좋습니다온보딩 화면 체류시간(초 단위)과 DAU 리텐션의 상관관계, 페이지 별 이탈 시점온보딩 단계에서 체류시간이 짧을 수록 가입 이후 구체적 기대감이 형성되지 않았을 확률이 높으므로, 가입 전환율이 낮을 것임페이지별 이탈 시점은 해당 페이지 보완, 개선 근거로 활용 가능
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
데이터 취합과 정리 어디서부터 해야할까요
마케팅 CRM회사 개발팀으로 일을 시작한 PM 리더입니다. 현 회사에서 제가 받은 미션은 각 팀별로 기준없이 정리되고 있는 데이터들을 취합하고 업데이트 시키는 일 그래서 데이터기반 의사결정 문화에 기여하는 일입니다. 그런데 제한 조건이 노션과 구글로만 이를 해내야합니다. 일단 주로 사용되는 데이터와 그 뜻이 서로 맞게 이해하고 있는지 단어집을 만드는 것으로 일을 시작했는데요. 이제부터 어떻게해야 할지 다소 막막합니다. 의견부탁드리겠습니다!
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
3장 강의자료 다운로드 시, 2강이 다운로드 됩니다.
안녕하세요 3강 강의자료 다운로드 시 2강이 다운로드 되는데 확인가능할까요? 감사합니다!
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
데이터 로그 설계 과제 작성
안녕하세요! 강의로 많은 도움 받고 있습니다 ㅎㅎ로그설계 과제 3가지 고민해봤는데 보완할 부분이 있을지 의견 주시면 감사하겠습니다.tracking plan: https://docs.google.com/spreadsheets/d/1S36ZEYrGKfPNSSxDRyfEP8klFdYA0j42uE52zg9dTp0/edit?usp=sharing피그마 기획서를 보고 page별로 이벤트를 적는게 편해서 양식을 일부 수정했는데 이런 식으로 작성해도 괜찮을까요? [1] 기능이 잘 동작하는지 확인하기메인지표=각 영역의 클릭 횟수, 클릭률배너 영역: click_banner/view_home메뉴 카테고리 영역: click_food_category/view_home음식추천 영역: click_recommend_food/view_home동네맛집 영역: click_best/view_home잘 동작한다면배너 view_banner_content/click_banner=1 (banner_id별로 확인)메뉴카테고리 view_food_category/click_food_category=1 (food_category별로 확인)음식추천 ???/click_recommend_food=1 추천된 음식을 구분하는 방법을 잘 모르겠습니다 ㅠㅠ동네맛집 ???/click_recommend_restaurant=1 마찬가지로 동네맛집 영역에 노출된 식당을 구분하는 방법이 있을까요? [2] 검색 만족도 지표만족 정의하기: 사용자가 검색을 통해 원하는 메뉴 또는 식당을 찾았다지표 정의하기① 검색기능 이용 비율=view_search_result/view_home② 검색 완료 비율=view_search_result/view_search (검색영역 진입 후 이탈하지 않고, 실제로 검색 수행까지 완료한 경우)③ 무결과 검색률 (무결과가 적을수록 검색의 질이 높은 것으로 판단)분자: view_search_result(result_number=0)분모: view_search_result④ 검색결과 페이지 내에서 특정 음식(예: 치킨 너겟)의 클릭율분자: click_food(food_name=”치킨 너겟”)분모: view_search_result [3] 검색 필터 기능의 활성화 지표필터 활성화 정의하기: 기본 검색보다 필터를 사용한 경우가 더 많다지표 정의하기① 필터 적용 비율=view_filter_result/view_search_result
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
코칭 관련
안녕하세요, 멘토님! 강의 안내 페이지에 70% 이상 듣고, 강의 만족도 조사 후 코칭 기회가 있다고 적혀있는데, 여전히 코칭 기회가 남아있을까요?
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
슈퍼셋 사용이 처음이라 질문드립니다.
안녕하세요!회사에서 데이터 관리를 위해 슈퍼셋을 도입하게 되었습니다. 사용을 하려면 스스로 sql을 공부해서 직접 쿼리를 작성하는 방법이 최선일까요? 우선 개발자분들께 기본적인 항목은 요청드린 상태입니다. 추가로 카일님의 spl 기본 + 중급 강의를 들으면 원활하게 사용이 가능할까요?
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
지표정의 4-8 문제풀이 입니다.
기능이 잘 동작하고 있는지 확인하려면?배달서비스 메인화면에서 배너, 메뉴 카테고리, 추천영역등이 잘 동작하고 있는지 확인하려면?Hitmap: 5% 미만 클릭영역 식별이유: UI 사각지대 발견배너: 전달 내용 대비 유저 참여수/출력수로 실제 참여유도 효과 측정이유: 배너의 실질적 효과성 평가카테고리: 각 카테고리 방문 대비 주문전환율(주문수/카테고리 방문수) 확인이유: 전환율이 낮은 카테고리 식별 및 개선 방향 설정추천영역: 추천 후 주문 연결수/추천 클릭수로 실제 참여 연결효과 측정이유: 추천의 실질적 비즈니스 기여도 측정N분 이내 기준 설정으로 중간 다른 활동을 통한 주문 배제 검색 만족도 지표고객이 검색 기능에 만족했는지 확인하려면 어떤 지표?검색 퍼널: 검색단어 입력 → 검색실행 → 결과값 클릭 → 실제 주문까지의 전환율→ N분 이내 주문률로 즉시성 측정검색 정확도: 상위 N개 결과 클릭률을 통한 검색 품질 평가(Sub 지표)이유: 만족스러운 검색 결과의 클릭율과 실제 주문까지의 퍼널로 전체적 만족도 측정 검색필터 기능의 활성화 지표검색 필터 기능을 잘 사용되고 있을까요? 기능 활성화 지표를 정의하면 어떻게 할 수 있을까요?필터사용퍼널: 검색단어 입력 → 검색실행 → 필터 사용 → 결과값 클릭 → 실제 주문까지의 전환율이유: 검색 만족도와 동일한 퍼널 관점에서 필터 기능의 실제 가치 측정 배달 서비스에서 가장 중요한 지표는?가장 중요한 지표는 무었을까요? 왜 그 지표가 중요한가요? 그것을 어떻게 늘릴수(줄일 수) 있을까요?실제 주문기준 Retention이유:리텐션이 낮으면 지속적 마케팅 비용 부담으로 서비스 지속성 위험.마케팅 비용 없이도 자생할 수 있는 힘 필요맛집까지의 연결, 추천, 주문 비율을 높여야한다 생각이유:맛집을 가장 잘 연결해주는 것이 중요.맛이 좋으면 배달시간, 서비스 태도가 다소 부족해도 재방문 가능하지만, 맛까지 없으면 최악 추천 알고리즘의 성능 지표추천알고리즘은 유저 정보, 로그를 토대로 구매할것 같은 제품을 보여줌추천 알고리즘 성능을 확인하기 위해선 어떤 지표를 파악? 왜 해당 지표일까?전환율: 장바구니 or 주문 Count / 알고리즘 View Count이유: 알고리즘 목적이 구매유도이므로 실제 구매까지의 전환율로 측정 자주 사용하는 서비스의 지표자주 사용하는 서비스에서 제일 중요한 지표는 무엇일까요? 왜 해당 지표가 중요할까요?그 외 2개를 더 뽑는다면 어떤 지표가 있을까요?가상 서비스 개요(자주 사용하는 서비스 대신 강의청취중 생각난 아아디어로 진행해보았습니다.)온라인 강의 수강 중 실시간 피드백의 한계를 해결하기 위한 서비스강사가 통화 가능 시간을 표시하면 수강생이 전화를 걸어 1분 단위로 재화를 소모하며 멘토링을 받고,멘토는 포인트를 적립하는 구조.지표설계 OMTM: NRR Retention재화 소모 통화 후 지속적 재방문 및 재화 소모 여부 측정이유: 서비스가 돈을 지속적으로 사용할 만한 가치가 있는지 판단 Sub_1: 매칭 효율성시간대별 수강자수/멘토수 비율과 실제 연결비율 측정이유: 공급/수요 불균형 팡가 및 연결과정의 허들 식별 Sub_2: 통화품질서비스에 만족감을 느끼는지 파악하여 서비스 가치 판단통화 후 1분이내 팔로우 비율이유: 재통화 의향을 나타내는 즉시 반응 측정으로 만족도 평가통화 후 리뷰정성적 리뷰 데이터로 만족도 측정이유: 주관적 작성 요구로 품질 높은 피드백 확보통화시간분단위 비용 소모의 높은 허들을 파악 → 그 이상으로 통화하는 비율 측정이유: 높은 비용 부담에도 지속하는 통화는 서비스 가치 인정의 지표 퍼널 개선 프로젝트가입 퍼널 프로세스가 20%인데 이걸 개선하라는 미션가입에서 온보딩을 더 진행하는 기능을 만듬 → 온보딩 효과를 보려면 어떤 지표를?가입전환율: 기존 20% 전환율의 변화 측정으로 전체적 효과 확인온보딩 달성률: 초기 핵심 활동 달성수 / 가입수로 온보딩 목적 달성도 측정 1번을 풀다보니 궁금한게 있어 추가질문 드립니다!퍼널 분석 시 사용자가 중간에 다른 과정을 거쳐 목표에 도달하는 경우 어떻게 분석하나요?예시: 배달 서비스 메인영역 클릭 → (중간에 검색, 카테고리 탐색 등) → 장바구니/주문 완료이런 간접 경로를 통한 전환도 메인영역의 성과로 인정해야 하는지, 인정한다면 어떤 방식으로 측정하는지 궁금합니다.
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
데이터 로그 관련 질문
안녕하세요, 입사한지 약 두달된 신입 PM입니다.다름이 아니라 데이터 로그 설계에 대해 배우면서 어떤걸 만져야 하나 고민을 하고 있습니다. 회사가 amplitude나 GA를 주로 쓰지 않아서 카일님의 방법대로 로그를 설계하기 보다는 mixpanel 기반으로 AB하는게 대부분이더라구요. 그리 크지 않아서 그럴 수도 있겠지만요, 오늘 팀장님과 면담을 했을 때는 아직 로그기반으로 트래킹을 세밀하게 하고 있는 건 없는 듯 한데, 일단 기본적인 것부터 하고 나중에 생각해보라고 하시긴 하시네요 ㅋㅋ 그냥 mixpanel 기반으로 계속 해보고 나중에 하는게 좋겠죠 ?
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
2)AB Test 방법과 관련해서 질문 드립니다!
안녕하세요 카일스쿨님 데이터 수업 정말 잘 듣고 있습니다! 듣는 과정 중에 궁금한 점이 있는데요!수업명: 4-5. 지표 정의 Process수업시점: 2:25궁금한 부분[기존에 없던 신규 기능을 배포한 경우[ 케이스에서 A/B테스트를 하게 될 때 A: 신규 기능을 적용하지 않은 경우, B: 신규 기능을 적용한 경우로 비교 실험하는 것으로 이해했는데 맞을까요?혹은 A/B 각 군 모두 신규 기능 이되 UI/UX 형태를 다르게 해서 비교 실험을 해야하는 것일까요?감사합니다 :)
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
데이터분석가 역할?
안녕하세요, 좋은 강의 감사드립니다. 다 듣고나서 혼자 복습중에 궁금한게 생겨서 글을 씁니다. [질문1]데이터분석가는 비즈니스의 여러 프로세스에서 협업하는거라고 생각이 들었고, 제가 이해한 구분은 크게 이렇다고 이해했습니다.물론 일반화하기 어려운 부분이 있지만, 직무분석하고 탐색하는 취준생입장에서 아래와 같다고 생각하면 될지 문의드립니다. 1. BA (Business Analysis, 비즈니스 분석)“비즈니스 자체가 잘 굴러가고 있는가?”를 보는 분석1-1. [0 → 1 단계]제품/서비스가 나오기 전 → 시장 수요, 산업 동향, 경쟁사 분석TAM/SAM/SOM 추정, 사업성 검토(예: 이 시장에 진입하면 고객이 충분히 있나?)1-2. [1 → 100 단계]운영 중인 비즈니스 전체 관점 → 매출, 수익 구조, LTV/CAC, 운영 효율성 분석투자·확장·전략 수립을 위한 인사이트 제공(예: 마케팅 ROI, 재무 지표, 운영 효율 개선)2. PA (Product/Service Analysis, 제품·서비스 분석)“제품/서비스 자체가 잘 쓰이고 있는가?”를 보는 분석2-1. [0 → 1 단계]아이디어/MVP 단계 → 가설 검증, PMF(Product-Market Fit) 검토파일럿 유저 피드백 분석, 초기 코호트 분석(예: 우리 앱을 설치한 100명 중 30명이 계속 쓰는가?)2-2. [1 → 100 단계]이미 서비스가 굴러가는 상황 → 사용자 행동 분석, 기능별 리텐션/전환율, 개선 포인트 도출캠페인/홍보 효과 측정, 퍼널 분석, A/B 테스트(예: 이 버튼 디자인 바꾸면 구매율이 올라가는가?)1. BA = 비즈니스 단위(큰 그림, 돈/전략) → 주로경영진/창업자/전략팀과 소통2. PA = 제품 단위(사용자, 기능, 서비스 경험) → PM/개발/마케팅 팀과 소통 [질문 2]BA이든 PA이든 0->1 이든, 1->100의 과정이든 / 데이터분석의 직무를 하는 사람이라면 아래의 프로세스를 따르나? 문제와 지표와 상황이 다를뿐. 문제 정의 -> 지표 설정 -> 데이터 수집 -> 데이터 가공 및 전처리 -> 데이터 분석 -> 지표 검증 + 인사이트 추출 -> 액션 아이템 도출 -> 실행 후 결과 측정 -> 반복 [질문3]그럼 저 프로세스에서 일단 기술적으로 데이터분석/pm이 준비해야할 hard skill은? 이 정도인가? 엑셀, 파이썬, sql, tool(타블로, ga4 등) 정도? (더 나아가면 머신러닝/딥러닝까지?) 데이터 수집에 필요한 기술 [엑셀, 수집-ga4, 크롤링-Python] ,데이터 가공과 전처리 기술 [SQL / Python ],데이터 분석을 위한 기술 [Python / R ]시각화와 인사이트 추출 기술 [타블로, 파이썬]