PM을 위한 데이터 리터러시(프로덕트 데이터 분석)대시보드

📌연습문제 1 - 기능이 잘 동작하려면?✅ 배너영역클릭률: 사용자들이 배너 영역을 얼마나 클릭하는지 - 배너 클릭 횟수 / 배너 노출 횟수배너 영역에 머무르는 체류 시간 - 체류 시간 / 관련 세션 수시간 당 노출 수: 배너가 넘어가는 속도는 적절한지? 너무 빠르지는 않은지? - 특정기간 동안 배너 노출 횟수 / 노출이 이루어진 총 시간전환율: 실제로 배너에 홍보된 이벤트에 많이 참여하거나 상품 구매까지 갔는지 (수익화) - 홍보 및 이벤트로 실제 제품 구매 / 배너 클릭 횟수ROI : 투입된 광고 대비 얻는 수익이 괜찮은지 - (광고 총 수익 - 광고 비용) / 광고 비용반응률: 소셜 미디오 공유 등 다른 반응 확인 - 배너 관련 반응 수 / 배너 노출 횟수댓글 또는 좋아요 같이 사람들이 상호작용을 하는지이 배너가 사람들이 관심을 가질만한 배너에 해당하는지배너 별로 어떻게 클릭 횟수가 다른지사람들이 어떤 배너에 더 관심이 있는지✅ 메뉴 카테고리이벤트 행동어떤 메뉴 카테고리를 사람들이 클릭했는가 (click)시간축오늘 하루 중에서 메뉴 카테고리를 가장 많이 눌렀는가?메뉴 클릭 후 얼마나 체류 하였는가?✅이런 음식은 어때요?전환율 (실제 제품 구매로 이어졌는지)좋아요, 댓글 반응 수클릭율체류 시간PV✅동네 맛집전환율 (실제 가게로 주문이 이루어졌는지)PV , UV 📌연습문제 2 - 검색 만족도 지표흐름검색창 클릭율 → 실제로 검색창을 이용한 비율 - 검색창 클릭율 / 웹사이트 방문자 수검색 후 클릭율 → 실제로 검색을 한 후 제품을 클릭한 비율 - 검색 결과를 클릭한 횟수 / 검색을 수행한 수검색 이탈률 → 검색 도중 이탈한 비율 - 검색 중단한 사용자 수 / 검색 시작한 사용자 수전환율 → 실제 검색한 키워드로 제품을 구매한 비율 - 검색한 키워드로 제품을 구매한 수 / 해당 키워드로 검색을 수행 한 수  📌연습문제 3 - 검색 필터 기능의 활성화 지표활성화 지표필터를 실제로 클릭했는가? → 필터 클릭율 = 필터 클릭 횟수 / 페이지 내 방문자 수해당 필터를 사용해서 실제 구매를 했는가? → 필터 사용 후 구매한 건수 / 필터 사용 세션 수필터 내 체류 시간이 지나치게 길지는 않은지? → 필터에서 보낸 시간 / 필터 방문자 세션 수필터를 너무 자주 바꾸지는 않는지 (자주 바꾸는 것은 원하는 제품이 없다는 뜻일수도) → 필터 설정 변경 횟수 / 필터 사용자 세션 수필터를 사용하다가 중간에 이탈한 횟수 → 필터 기능을 사용하지 않고 다시 검색창으로 돌아간 수 / 필터 기능 사용자 수 📌연습문제 4 - 배달 서비스에서 가장 중요한 지표는?구매 전환율 (결제까지 완료한 사용자 수 / 총 방문자 수)이 가장 중요한 지표라고 볼 수 있습니다.왜냐하면 실질적인 구매가 이루어져야 주문 수수료가 발생하여 회사의 직접적인 수익 창출로 연결되기 때문입니다.해당 지표를 늘리기 위한 방법으로는 3가지 정도가 있습니다.프로모션 이벤트 활용 → 할인 쿠폰, 무료 배송 등의 혜택을 제공합니다.결제 프로세스 간소화 → 결제 수단을 다양하게 하면서도 결제를 한번에 진행하도록 합니다.맞춤형 추천 → 사용자의 관심사에 맞는 음식이나 서비스를 추천하여 보여줍니다.📌연습문제 5 - 추천알고리즘 성능 지표가장 중요한 지표는추천 상품 구매 전환율입니다.( 추천 알고리즘 탭을 통해 구매한 사용자 수 / 추천 알고리즘 탭을 클릭한 사용자 수)왜냐하면 퍼널 관점에서 수익성을 늘릴 수 있는 뒷단부터 개선하는 것이 중요하기 때문입니다.그 외의 다른 중요한 지표는 아래와 같습니다.추천 알고리즘 탭 클릭률 ( 추천 알고리즘 탭 클릭한 사용자 수 / 전체 방문자 수)추천 정확도 (실제로 사용자의 취향을 반영하는가) 📌연습문제 6 - 내가 자주 사용하는 서비스제가 자주 사용하는 서비스는 차량 대여 서비스(쏘카, 그린카)입니다.이 서비스에서 제일 중요한 지표는 고객 재이용률 이라고 생각합니다.왜냐하면 차량 대여 서비스에서는 차량을 이용한 이후 받는 고객 이용료가 주요 수익이기 때문입니다.(차량을 많은 사람들이, 그리고 자주 사용할수록 이용료를 많이 받을 수 있겠죠)구체적으로 ‘차량의 반납 건수’ 지표를 이용하여 고객들이 얼마나 자주 이용하고 있는지 파악할 수 있을 듯합니다. (예약건수는 언제든 취소할 가능성이 있으니 확실한 지표가 될 수는 없을 듯해요)그 외에 확인해야하는 지표는 아래가 있습니다.예약 전환율 → 아무래도 예약 자체 건수를 높이도록 노력하는 것도 중요한 지표일 듯 합니다.차량 탐색 / 조회 이탈율 → 제품을 탐색하는 과정에서 왜 이탈하는지를 파악하는 것도 중요할 것입니다.📌연습문제 7 - 퍼널 개선 프로젝트온보딩 전환율 지표를 봐야한다고 생각합니다.이는 [온보딩을 완료하고 회원가입한 사용자 수 / 온보딩 프로세스에 진입한 총 사용자 수]로 표현할 수 있습니다.만약에 온보딩 전환율이 20%를 넘는다면, 온보딩 기능 추가가 회원가입 증대에 실질적으로 기여했다고 볼 수 있습니다.별도로 온보딩 이탈율에 대한 지표도 보면 좋을 듯합니다.이는 [ 온보딩 프로세스에서 중도 이탈한 사용자 수 / 온보딩 프로세스 진입 총 사용자 수]로 나타낼 수 있습니다.온보딩 이탈율이 낮을수록, 온보딩을 진행하는 기능이 더 효과적임을 나타냅니다.처음이라 많이 부족해서 양해 부탁드려요!조금 더 고민해볼 지점 피드백 해주시면 조금 더 보완해보겠습니다.강의 너무 잘 듣고 있고, 항상 감사합니다. 😉

안녕하세요 카일님 🙂 지표에 대해 항상 어렵게 생각하였는데, 쉽게 강의해주셔서 많은 도움이 되고 있습니다.감사합니다. 연습문제에 대한 답변은 아래와 같습니다. 각 기능들이 잘 동작하는지 확인을 하려면 CTR(클릭률) 대비 메인page > 상세page로 가는 PV의 전환률의 퍼센트가 높은지 확인해야 할 것 같습니다. 페이지 전환률이 높다면 해당 기능이 잘 작동한다고 볼 수 있을 것 같습니다.고객이 검색이란 ACTION 이후 나온 필터된 페이지 내에서 CTR(클릭률)이 높다면 검색 기능에 만족했다고 생각합니다. 기능에 불만족 스러웠다면 스크롤 후 백그라운드로 이동 또는 스크롤 후 재검색 또는 앱이탈 비율이 높을 것이라고 생각합니다.검색필터기능의 활성화 지표를 확인하기 위해서는 검색 후 나온 페이지 내 필터 클릭률(CTR / PV)로 확인할 수 있을 것 같습니다. 또한, 고객이 필터를 몇 번 클릭했는지에 따라 필터 기능이 잘 사용되는지 확인할 수 있을 것 같습니다.리텐션이 가장 중요할 것 같습니다. 왜냐하면 셀러(가게), 바이어(이용자), 중간업체(배송대행사)가 유지되어야 해당 서비스가 꾸준하게 이용될 수 있기 때문입니다. 이용자의 리텐션을 높이기 위해서는 서비스(배송의 퀄리티, CS, 음식의 퀄리티)를 유지해야 구매율도 유지되고 서비스 제공자(가게, 배송대행사)도 유지될 수 있다고 생각합니다.알고리즘 성능을 확인하기 위하여 기존서비스 대비 추천 알고리즘의 클릭률(CTR)/PV과 구매전환률을 확인해야 할 것 같습니다. 왜냐하면 알고리즘이 정확하지 않다면 해당 영역을 클릭하거나 구매로 전환될 가능성이 적을 것 같다고 생각합니다.리텐션, WAU이라고 생각합니다. 예를들어 '쿠팡' 또는 '유튜브' 서비스를 빗대자면 고객이 일주일에 1번 이상은 들어와야 서비스를 해지하지 않고 사용한다고 생각하기 때문입니다. 그 외에 확인해야 할 지표는 체류시간과 가입전환율을 볼 것 같습니다. 온보딩 과정 중 온보딩의 효과를 파악하기 위하여 튜토리얼 퍼널을 조사해볼 것 같습니다. 슬랙을 예시로 들자면 어느 단계에서 사람들이 스킵을 하는지, 이탈률이 생기는 지를 확인하여 지표를 볼 것 같습니다. 

강의 너무 잘 듣고 있습니다!! 4-8강 연습문제에 대한 답변을 조심스레 올려봅니다.. ㅎㅎ냉철하고 날카로운 피드백 부탁드립니다!!  1. 기능이 잘 동작하고 있는지 확인하려면?해당 기능 클릭 이벤트 → 클릭에 맞는 화면의 뷰 이벤트 퍼널을 만들고 그 전환율을 확인해서, 전환율이 99.5% 이상이면 잘 동작한다고 볼 수 있을 것 같습니다.기능이 정상적으로 동작하고 있다면 해당 기능을 클릭하고 그에 맞는 화면이 떠야하기 때문에 기능 클릭 이벤트와 화면 뷰 이벤트는 사실상 100% 전환율이 나와야하지만, 데이터 수집 과정에서 누락이 있을 수 있기 때문에 그것을 감안하여 99.5% 정도의 전환율이라면 기능이 정상 작동한다고 볼 수 있을 것 같습니다. 2. 검색 만족도 지표사이에 아무 이벤트가 존재하지 않는 검색 결과 뷰 → 가게 클릭 퍼널을 만들고 그 전환율을 확인할 것 같습니다.고객이 검색기능에 만족했다는 것은 검색 후 아무런 추가 액션 없이 본인이 원하는 가게를 찾았다는 것을 의미하기에 검색 결과 화면을 확인 후 얼마나 추가 이벤트 없이 가게 클릭을 했는지의 전환율을 확인하면 고객의 검색 기능 만족도를 측정할 수 있다고 생각합니다. 3. 필터 기능의 활검색성화 지표일반적으로 검색할 때 필터를 설정하고 검색하기도 하고, 검색을 하고 필터를 설정하기도 하기 때문에 두 경우를 모두 포괄하기 위해 검색 기능이 있는 페이지 뷰 → 필터 클릭 → 필터 설정 완료 클릭 퍼널을 이벤트 사이에 이벤트 존재를 허용해서 만들어서 각 퍼널 별 전환율을 확인할 것 같습니다.뷰 → 필터 클릭 퍼널의 전환율은 유저가 필터의 필요성을 얼마나 느끼는 지 보여줄 수 있다고 생각하고,필터 클릭 → 필터 설정 퍼널의 전환율은 실제로 필터의 필요성을 느끼는 유저가 실제로 원하는 필터를 찾아서 활용하는 지 확인할 수 있는 지표가 될 수 있다고 생각합니다.이 두 지표를 조합하면 필터의 필요성을 느끼는 유저들의 비율과 필터를 실제 활용하는 유저들의 비율을 알 수있기 때문에 필터 기능의 활성화 여부를 세밀하게 구분하고, 그 결과에 따라 이후 액션 플랜을 수립할 수 있을 것 같습니다. 만약 필터 자체를 클릭을 많이 안한다면, 그 원인이 어디에 있는지 추가 분석을 해봐야 할 것 같고, 클릭은 많이 하지만 설정을 잘 안한다면 유저들이 원하는 필터가 없다는 의미로 해석할 수 있기 때문에 관련되서 추가 분석이나 유저 인터뷰를 진행하면 좋을 듯 합니다. 4. 배달 서비스에서 가장 중요한 지표는?배달 서비스에서 가장 중요한 지표는 배달 건수 & 건당 이익(매출 -비용) 이라고 생각합니다. 결국 기업에서 가장 중요한 것은 이익을 내는 것이고, 이익은 기본적으로 수량 x 한계 이익이기 때문에 배달 건수(수량) x 건당 이익(한계 이익)이 가장 중요하다고 생각합니다. 다만 배달 서비스의 특징을 고려할 때 굉장히 다양한 품목을 배달하고, 유저층도 다양하기 때문에 통합된 하나의 지표로 배달 건수와 건당 이익을 계산하기 보다는 품목별, 유저별 등 서비스 특성에 맞는 코호트를 만들어서 해당 맥락에 맞는 지표들을 구하고 의사결정에 참고할 필요가 있다고 생각합니다. 두 지표를 합쳐서 총 이익으로 보지 않고 구분하는 이유는 전체적인 흐름을 참고해서 의사결정 하기 위함입니다. 예컨데 배달건수는 엄청 많은데 건당 이익이 마이너스라면, 현재 시점에서는 배달 건수가 늘면 늘수록 적자폭이 커지는 구조이기 때문에 수익성 개선이 필요하다는 것을 알 수 있고, 건당 이익은 높은데 배달 건수가 너무 작다면 충분한 유저들이 앱을 사용하고 있지 않다는 것이므로 마케팅에 집중하거나, 유저들을 위한 신규 기능 개발을 목표로 전략을 세우는 등 두 지표를 한꺼번에 확인 함으로써 서비스의 전체적인 흐름을 파악하고 그에 맞는 전략을 도출할 수 있다고 생각합니다.배달 건수와 이익을 높이기 위해서는 사실 당연하지만 기본에 충실해야한다고 생각합니다. 사람들이 배달을 서비스를 이용하는 이유는 맛있는 음식을 편하게 먹고 싶기 때문입니다. 맛있는 음식을 먹기 위해서는 라이더가 잘 배치되서 음식이 식기 전에 배달이 되어야하고, 가격 부담이 적을수록 보다 편하게 음식을 먹을 수 있기 때문에 배달비가 합리적인 수준에 책정이 되어야 할 것입니다. 즉 이런 유저들의 니즈를 충족시켜주기위해 라이더들 확보 및 적절한 배치와 동선 효율화를 이뤄내야하고, 그 과정에서 비용 구조 혁신을 통해 유저들이 배달비에 부담스런 비용을 지불하지 않도록 해야합니다. 5. 추천 알고리즘의 성능 지표기본적으로 이커머스 서비스의 목표는 유저들에게 제품을 판매하는 것이기 때문에, 추천 알고리즘 역시 이 부분에 기여를 해야합니다. 따라서 추천 알고리즘의 성능을 파악하기 위해서는 추천 제품의 클릭율 & 클릭 후 구매 전환율 두 지표를 파악해야 한다고 생각합니다.우선 추천 제품의 클릭율이라는 것은 추천 알고리즘이 유저가 원하는 범주의 제품을 추천해주었다는 것을 의미한다고 생각합니다. 즉 알고리즘이 유저의 성향을 어느정도 파악하는데 성공했다고 볼 수 있습니다.다만, 성향을 파악했다고 해서 유저가 꼭 그 제품을 마음에 들어한다고 볼 수는 없습니다. 예컨데, 알고리즘이 유저에게 폼클렌징을 추천해주어서 유저가 제품을 클릭은 했는데, 실제 구매로 이루어지지 않았다면 추천의 범주는 어느정도 맞췄지만, 구체적인 상품 추천에는 실패했다는 것이기 때문에 결과적으로 판매에는 기여하지 못한 케이스가 됩니다. 이러한 케이스를 파악하기 위해 두 개의 지표로 구분해서 해당 지표들을 바탕으로 이후의 액션플랜을 수립해야 합니다. 6. 자주 사용하는 서비스의 지표저는 Discord 앱을 자주 활용하는데, 이 서비스에서 핵심지표는 활성 유저수 x 활성 유저당 이익 이라고 생각합니다. 그 이유는 4번 문제에 대한 답과 유사한데, 결국 모든 서비스는 이익을 창출해야 존속할 수 있고, 그렇기 위해서는 수량 x 한계 이익이 중요하기 때문입니다. 활성 유저를 기준으로 지표로 보고자 한 이유는 실제 앱을 꾸준히 쓰는 사람들이 얼마나 앱에 돈을 내고 있는지 파악하는 것이 전체 유저를 대상으로 지표를 집계하는 것 보다 더 제품의 현황을 정확하게 보여줄 것이라고 생각하기 때문입니다.추가적으로 확인해야하는 지표 2가지를 뽑는다면 WAU와 Weekly Retention을 뽑겠습니다. 제품과 관련하여 이익적인 부분을 제외하면, 제품 자체의 매력도와 힘을 지표를 통해 확인할 필요가 있다고 생각합니다. Discord의 경우 이를 대표적으로 잘 보여주는 것이 WAU와 Weekly Retention이라고 생각합니다. DAU나 Daily Retention이 아닌 이유는 제가 디스코드를 사용해본 경험상 매일매일 들어가기보다는 일주일에 두어번 정도 앱을 사용하기 때문에 일주일을 기준으로 지표들을 보는게 좀 더 유저 행동을 정확하게 볼 수 있다고 생각 했습니다. 이 두 지표는 기본적으로 유저들이 앱을 얼마나 많이, 자주 쓰는지 확인할 수 있는 지표들이기 때문에 해당 지표들을 바탕으로 앱의 매력도와 힘의 현황을 꾸준히 파악할 것 같습니다.  7.퍼널 개선 프로젝트저라면 A/B Test를 통해 기존 가입 퍼널과 온보딩을 더 진행하는 기능이 추가된 가입퍼널의 최종 가입 전환율을 비교 할 것 같습니다.목표 지표는 최종 가입 전환율이지만, 온보딩을 진행하는 과정에 이벤트들을 심어서 각 온보딩 진행 구간 별로 유저들의 전환율이 어떻게 되는지 확인해서 이후 액션에 참고 할 것 같습니다. 예를 들면, 온보딩을 더 진행하는 것 자체는 유저들이 관심을 가져서 전환이 이루어졌으나, 그게 실제로 가입 전환에는 도움이 안되는 경우 온보딩을 추가하는 기획 자체는 남겨두고 온보딩을 더 발전시키는 형태로 추가 액션을 가져가는 경우가 있을 것 같습니다. 

🤔 P: 현업에서 사용하는 지표는 무엇이고, 이를 바탕으로 프로젝트를 진행할 때 어떤 지표를 사용해야할지 판단이 가지 않는다.S: 관련 강의섹션 4. 성과 측정을 위한 지표(Metric) 정의섹션 5. 결제 전환율 개선 프로젝트 - 문제 정의, 데이터 기반 프로젝트 진행 Process섹션 6. 데이터 로그 설계, 데이터 QA 💡 이 강의를 통해서 얻고 싶은 3가지는?현업에서 사용하는 지표의 종류와 내용에 대해서 설명할 수 있다.데이터를 수집할 때 어떤 지표를 기준으로 수집할지 설명할 수 있다.프로젝트를 할 때 데이터를 보고 어떤 지표를 봐야할지 설명할 수 있다.💡 그걸 위해 내가 할 노력은?지표에 대한 개념을 하나 알게 되면 데이터를 구해서 적용해보기예시: PV(Page View)를 배웠으면 이커머스 데이터로 적용해보기💡 수강한 이후 내가 생각하는 나의 변화는?프로젝트를 수행할 때 어떤 지표를 기준으로 데이터를 분석해야할지 판단이 선다. 우선 목표를 작게 잡고 천천히 여유를 가지고 진행해보겠습니다.좋은 강의 감사합니다.

안녕하세요 🙂 카일님. 강의 정말 잘 듣고 있습니다. :) 답변 첨부합니다!!  #1.1순위로 CTR, 그 이후 2순위로 CVR을 확인해본다. 우선 CTR을 확인해 어떤 기능이 가장 클릭율이 높은지를 확인 (어떤 콘텐츠가 가장 좋은지 확인)하고, 그 이후의 결제 전환율을 확인해서 해당 기능의 퍼널 상 문제가 있는지를 확인한다.  #2.두가지 답변을 생각했습니다![1번째]검색 결과 페이지에서 최상단 5개 콘텐츠(스크롤을 최소로 했을 경우에 페이지에 노출되는 콘텐츠)의 CTR을 확인한다. 만약 최하단에 있는 콘텐츠를 클릭했을 경우, 검색결과에 만족하지 않았을 확률이 크기 때문이다. 만약 필터버튼의 CTR이 타 콘텐츠보다 높다면, 이 또한 검색결과에 만족하지 않았을 확률이 크다. 재조작하여 새롭게 필터링 된 결과를 보고싶어 하는 것이기 때문이다.[2번째]최초 검색부터 전환(결제)까지 발생한 총 이벤트 수를 세어본다. (가장 최소한의 루트를 좋은 것으로 생각한다.)  #3.검색 필터기능 활성화 지표 = CTR이 낮을수록 좋음, 첫 클릭 이후 재클릭 리텐션이 낮을수록 좋음.이유 : 검색 필터 버튼의 CTR이 낮을 수록 디폴트 검색결과에 만족한다는 뜻인 것 같다. 이후 커스터마이징 된 결과값을 얻고 싶다면 첫 클릭을 할 것이고, 그 이후 추가 클릭을 했다면 결과값에 만족하지 못했다는 뜻으로 간주할 것이다.  #4.AARRR 퍼널에서의 각 단계 CVR 중요할 것 같다. 그 중 Revenue (결제 전환)의 CVR이 가장 중요하다 생각한다. 해당 지표를 높이기 위해서는 AAR 지표의 CVR을 높일 것이다.Acquisition : 더욱 공격적인 마케팅, Referral 빈도 높이기Activation : 푸시메시지 등을 통한 리텐션 높이기, 서비스 내 콘텐츠 CTR 분석 후 CTR이 높은 항목을 더욱 활성화 #5.추천을 하지 않았을 때, 추천을 했을 때 전-후 AB Test를 통해 결제전환 CVR을 비교분석한다.추천 알고리즘의 성능을 파악하기 위해, 스크롤을 하지 않은 1-page 내 콘텐츠의 CTR, CVR을 확인해볼 것 같다. 이 또한 1순위로 CTR, 그 이후 2순위로 CVR을 확인해보는데, 우선 CTR을 확인해 어떤 기능이 가장 클릭율이 높은지를 확인 (어떤 콘텐츠가 가장 좋은지 확인)하고, 그 이후의 결제 전환율을 확인해서 해당 추천이 유효한지를 파악할 것이다.  #6.인스타그램.좋아요,댓글,메시지 등의 이벤트를 발생시키는 AU가 가장 중요하다. 왜냐하면 Meta에 광고를 실은 광고주들의 노출 볼륨과 참여빈도를 높여, 메타의 BM을 유효화해야 하기 때문이다.그 외 확인해야 하는 지표 : 탐색탭에서의 추천 알고리즘이 적용된 콘텐츠 CTR, 유저 인게이지먼트 (좋아요/댓글/메시지 활동 빈도)  #7.‘B2B 업무용 SaaS’를 가정하고 생각했습니다.온보딩기능 도입 전/후의 결제전환율을 파악하기 위한 AB테스트를 실행할 것 같습니다. 이후 온보딩을 진행한 유저를 대상으로 정성적인 피드백을 수집할 것 같습니다.

#5. 결제 전환율 개선 프로젝트 강의에서메인지표를 추천 클릭율과 추천을 통한 주문 전환율(CVR)로 설정해주셨는데, 여기서 추천을 통한 주문 전환율을 이렇게 계산하는 걸까요?-> 결제 완료자 수 / 최소 주문 금액을 넘지 않은 상태로 카트페이지에 진입 후,추천 버튼 사용자 수

안녕하세요! 강의 들으면서 4챕터 과제 하나씩 수행해보고 있습니다.강의를 직접 듣는것과 다르게.. 역시 실전은 어려운 거 같네요!저는 조금 느려서 1번만 먼저 풀어서 올려봤습니다. 블로그에 작성하였으니 확인 부탁드립니다!https://everyday-joyful.tistory.com/349좋은 강의 정말 감사합니다 🙂 그리고 이런 질문은 여기 인프런 게시판이 나은지, 디스코드 '질문있어요'가 나은지 궁금합니다.

안녕하세요. 6-6 10분 경 use_recommend_food 관련 질문이 있습니다. use_recommend_food는 추천한 음식(food id)을 결제단계까지 가지고 있었는지의 유무를 true/false로 추적하는 것인가요?? 이렇게 간단한(?) 이벤트로 상품을 새롭게 추가함/추가한 상품을 삭제함/상품을 추가하지 않음 이라는 여러 상황들을 고려할 수 있는 건지 궁금합니다..!

안녕하세요 :)스타트업에서 데이터 기반 의사결정을 하고, 작은 지표부터 개선하기 위한 프로젝트를 산정하기 위해 팀원들과 함께 지표 위계 초안을 작성하고 있습니다.이때, Focus Metric을 정의하고 이를 L1 Metric으로 MECE하게 나눠보는 과정에서 어려움을 겪고 있어 선생님의 도움을 구하게 되었습니다.비즈니스 측면에서 가장 중요한 지표(예시: 매출)가 있고, 제품 측면에서 가장 중요한 지표가 북극성 지표(예시: WAU)일 때, 둘 중 현재 무엇이 우선적인 Focus Metric이 되어야 할지 전사적인 결정을 내리면 되는 것일까요?결국 전사적 논의에서 쟁점은, '지금 당장 우리에게 비즈니스적 관점이 더 중요한가, 제품적 관점이 중요한가', 아니면 '비즈니스적 성과에 가장 영향을 크게 줄 수 있는 제품 지표는 무엇인가'일까요? 첫 번째 카일 스토리처럼 스타트업의 CEO 관점에서는 매출이 가장 중요하고, 프로덕트 관점에서는 아래 스포티파이의 예시와 같이 제품이 해결하는 문제와 직결된 지표가 더 중요하다고 볼 것 같습니다. 다같이 회의하는 경우, 하나의 의견으로 모아내기 위해 무엇을 기준으로 논의할 수 있을지 궁금합니다.처음에는 북극성 지표가 Focus Metric으로 적격이라고 생각했습니다. 그런데 북극성 지표에 대해 찾아볼수록 많은 매체에서 그것이 '선행 지표'일 것을 추천하는 것을 보고 지표위계 상 최상위 지표가 되기에는 최적이 아닐 수 있겠다는 혼란이 생겼습니다.북극성 지표(NSM)와 OMTM, Focus Metric은 각각 다른 게 맞을까요?현재는 월간 사용 제품에 가까운 라이프스타일 앱 프로덕트가 더 자주 가치를 전달하고자 '주간 활성 이용자수'를 Focus Metric으로 설정했다면, L1 Metric을 신규 사용자 수, 리피트 사용자 수, 컴백 사용자 로 분류했을 때 MECE하게 분류했다고 볼 수 있을까요?더불어 PMF를 찾지 못한 스타트업에게 지표 위계가 의미 없다는 생각을 가진 분들도 있는 것 같습니다. 특수한 상황의 경우 오히려 지표 위계를 설정하려는 노력이 도움이 안 될 수도 있을지 카일님의 생각도 궁금합니다.

안녕하세요 :) 최근 강의를 수강하면서 디스코드에 입장하려 했는데 만료된 링크라고 나옵니다. 혹시 새로운 링크로 입장이 가능할까요?

강의에서 2번 CVR을 구할 때, click_payment 이벤트에 payment_type, use_recommend_food 이렇게 두가지 파라미터를 받았습니다. 만약 view_결제 확인 페이지(결제하기 버튼 클릭 전 결제 페이지)로 하게된다면 이때는 화면에 보이는 값들인 주소와 가격 파라미터를 추가해야하는지 궁금합니다! 가격정보는 view_cart에서 이미 받은 정보라 필요없을까요? 항상 감사드립니다!

안녕하세요! 로그를 설계할 때,click_recommend_food 이벤트의 파라미터에 화면 정보(cart)를 넣게되면 분자/분모로 계산하지 않아도 되는걸지 궁금합니다!강의 예제에서는 '최소 주문금액을 넘지 않은' 부분을 나타내기 위해서 해당 페이지를 본 수와 클릭수를 따로 해야할 것 같은데 만약 해당 조건이 없는 경우 위처럼 'screen : cart'와 같은 파라미터로도 카트 내에서 일어나는 버튼 클릭 수를 볼 수 있을까요?

안녕하세요! 4단원 지표 정의까지 강의를 듣고 직접 개인 사이트를 만들어 문제 정의, 지표 수립의 과정을 실습해보려고 계획하는 중에 질문이 생겼습니다. 사이트를 운영하면서 같은 지표(ex. 전환율)에 대해서 정의하는 방식을 수정하고 싶은 경우에는 수정 전/후의 데이터를 어떻게 분석해야 좋을지, 어떤 점을 유의해야 할지 궁금합니다.사이트 운영 이전에 최대한 구체적이고 목적에 부합하는 지표를 정의하는 것이 가장 좋지만,실제로 운영하면서 데이터를 보기 전까지는 구체적으로 감을 잡기 어려운 부분이 있다고 느꼈습니다.예를 들어서, 세션에 대한 정의를 할 때 보통 '몇 분 동안' 활동이 없을 때 세션 종료라고 정의해야 할까?에 대한 reference로 삼을 만한 데이터가 없다 보니 대략적인 추측으로 정의해야 하는 부분이 있는 것 같아요. 이런 경우에는 보통 어떻게 추정치를 잡는지, 중간에 지표에 대한 정의를 수정하는 게 불가피한 경우에는 보통 현업에서 어떻게 하는지 궁금합니다! 데이터 수집은 GA4와 GTM을 사용할 계획입니다.

카일님 안녕하세요! 🙂 최근 시간이 날 때마다 강의를 들으며 질문이 많아졌네요ㅠㅠ 번거롭게 해드리지만 항상 답변해주시면 큰 도움이 되고 있습니다 😄  데이터 시각화 도구와 PA 도구와의 차이점에 대해 유저 로그 데이터는 PA 도구를, 데이터베이스 데이터는 데이터 시각화 도구를 사용한다고 이해했습니다.제가 궁금한 점은 데이터 종류에 따라 다른 시각화 도구를 사용하게 되는 것일까요? 즉, 데이터 로그 설계시 수집하기로한 데이터의 소스가 클라이언트면 주로 PA 도구로 분석, 데이터의 소스가 서버면 주로 BI 도구로 분석하게 되는 것일까요?앞서 데이터 로그 설계시 데이터의 Source는 클라이언트와 서버 두 가지 중 데이터 특성이나 데이터 정합성 등에 따라 결정된다고 학습했던 내용으로 인해 헷갈리게 되었습니다 😭

안녕하세요!5-3의 가설 1번에서 유저들은 2회 이내로 카트에 추가하고 있다는 데이터가 나왔습니다.이때 시간 간격을 봐도 애매하다고 언급해주셨는데 이는 2회 이상추가한 유저 수가 너무 적어 비교해도 의미가 없을지도 모른다는 뜻으로 생각해도 괜찮을까요? (어차피 여러번 카트에 추가하는 유저는 적다는 결론이 나왔으니)

카일님 안녕하세요! 구글 스프레드시트에 데이터 로그 설계 연습 문제를 풀이해봤습니다 😀 풀이하는 과정에서 몇 가지 질문사항이 생겨 함께 남깁니다.#1. 이전에 '이런 음식 어때요' 지표를 정의와 멘탈 시뮬레이션 과정에서 크게 2가지 지표를 정의했습니다.이런 음식 어때요 상품 클릭률(CTR) = 이런 음식 어때요 상품 클릭수 / 홈 화면 조회수상품 주문 전환율(CVR) = 이런 음식 어때요로 진입한 사용자의 상품 주문수 / 이런 음식 어때요 상품 클릭수이때 2번 지표처럼 '~로 진입한 사용자의 상품 주문수'가 필요한 경우에 데이터 로그 설계를 어떻게 해야 적절할까요? 클라이언트에서 '상품 주문 완료'까지의 경로를 가지고 있다해도 어떤 이벤트에 어디까지 기록해야 할지 궁금합니다. #2. 검색 결과 페이지에서 검색방식별 사용도를 파악하고 싶을 때 source 관련 데이터는 어떻게 수집하면 좋을까요? '검색하다'라는 사용자 액션이 검색버튼을 통해, 키보드의 검색키를 통해, 최근검색어 태그 등 다양한 경로를 통해 이루어질 수 있는 것 같아 궁금합니다.처음에는 전체 검색 API 호출수, 검색 버튼 클릭수, 최근 검색어 태그 클릭수, 키보드 검색 이벤트수를 수집하고자 생각했는데 이벤트수가 너무 많아지는 것을 방지하고자 Tracking Plan에는 검색 버튼 클릭수만 포함했습니다.API 호출이 이벤트를 트리거하는 경우에는 어떤 네이밍 컨벤션이 있는지 궁금합니다!클릭률 및 전환율을 구할 용도로 검색 결과 페이지 조회수를 수집하고 싶을 때 전체 검색 발생 건수(API 호출 횟수)와 검색 결과 페이지 조회수, 이 두 데이터를 유사하다고 봐도 될까요?검색 퍼널을 만들 때 설계한 이벤트들이 동일한 흐름에 있다는 것을 알고 하나의 퍼널로 해석하기 위해서는 session_id와 search_keyword를 활용하면 될까요? 그런 용도로 각 이벤트마다 해당 event parameter를 넣어야 하는지 궁금합니다.좋은 강의 항상 감사합니다!

안녕하세요! 지표 정의하기 연습문제를 풀어봤습니다. 피드백해주시면 학습을 이어가는 데 도움이 될 것 같습니다 😀 #1. 기능이 잘 동작하고 있는지 확인하려면 배너 영역1) 목적 정의: 배너 영역을 통해 사용자가 배너의 상세 페이지로 유입되는가?2) 지표 정의: 배너아이템별 클릭률(CTR) = 배너아이템별 클릭수 / 홈 화면 조회수3) 멘탈 시뮬레이션CTR ⬆: 사용자의 흥미를 끌어 배너 클릭을 유도했다는 가설이 검증되므로 '배너 상세 페이지'의 목적을 달성하는지(a. 쿠폰 다운로드 b. 매장상세페이지 조회 c. 추천 상품 구매 등)를 파악하기 위한 이후 액션을 결정 → 예상 지표: 배너의 목표 액션 전환율(CVR) = 배너페이지 내 a or b or c 액션 수/배너 클릭수CTR ⬇: 사용자가 배너 영역에 대한 충분한 유인을 얻지 못했다고 판단하고 UX/UI 혹은 컨텐츠를 개선할 방안을 찾는 액션을 결정UX/UI: 배너의 개수, 배너의 크기, 배너당 지속 시간컨텐츠: 카피라이팅, 이미지 퀄리티 메뉴 카테고리1) 목적 정의: 메뉴 카테고리를 통해 사용자가 상품 목록 페이지로 유입되는가?2) 지표 정의Main: 메뉴카테고리별 클릭률(CTR) = 메뉴카테고리별 클릭수 / 홈 화면 조회수Sub: 메뉴 상품 목록 페이지 체류시간(Duration Time)3) 멘탈 시뮬레이션CTR ⬆, Duration Time 5초 미만: 메뉴 카테고리에 대해 기대하는 상품 목록이 아닐 경우 체류시간이 많이 짧을 수 있으므로 이후 메뉴 분류 변경과 같은 액션 결정CTR ⬇: 상품 사용자가 메뉴 아이템을 클릭할 유인이 부족했으므로 배너와 마찬가지로 UX/UI 측면을 고려하거나, 특정 메뉴의 클릭률만 낮다면 해당 메뉴의 사용자 세그먼트별 클릭률, 시간별 클릭률을 파악하여 유지 여부 결정 이런 음식 어때요1) 목적 정의: 이런 음식 어때요 영역을 사용하여 사용자가 상품 상세 페이지로 유입되는가?2) 지표 정의: 이런 음식 어때요 상품 클릭률(CTR) = 이런 음식 어때요 상품 클릭수 / 홈 화면 조회수3) 멘탈 시뮬레이션CTR ⬆: 사용자가 추천을 통해 상품 상세 페이지 조회까지 유도했다는 가설이 검증되므로 상품 주문 전환율을 분석해 이후 액션을 결정 → 지표: 상품 주문 전환율(CVR) = 이런 음식 어때요로 진입한 사용자의 상품 주문수 / 이런 음식 어때요 상품 클릭수CTR ⬇: 추천 기능의 성능 문제인지 판단하기 위해 가로 스크롤 이벤트를 발생시킨 사용자의 클릭 전환율(CVR)과 발생시키지 않은 사용자의 클릭 전환율(CVR)을 분석 → 1. 스크롤 이벤트를 발생시키지 않았는데 클릭 전환율이 높다면 상위 추천 항목 노출 성능이 유효하다고 판단 → 2. 스크롤 이벤트를 발생시켰는데 클릭 전환율이 낮다면 추천 성능이 유효하지 않다고 판단 동네 맛집1) 목적 정의: 동네 맛집 영역을 통해 사용자가 매장의 상세 페이지로 유입되는가?2) 지표 정의: 매장 카드 클릭률(CTR) = 매장 카드 클릭수 / 홈 화면 조회수3) 멘탈 시뮬레이션CTR ⬆: 이런 음식 어때요 기능과 유사하게 상품 주문 전환율을 고려하여 다른 조건과의 비교를 통한 후속 액션 도출 (검색을 통한, 메뉴를 통한, 배너를 통한, 이런 음식 어때요를 통한 CVR과 비교) → 지표: 상품 주문 전환율(CVR)= 동네 맛집으로 진입한 사용자의 상품 주문수 / 동네 맛집 카드 클릭수CTR ⬇: 내용 측면에서 동네의 범위가 적절한지, UX/UI의 측면에서 불편함이 있는지 검증하는 후속 액션 수행  #2. 검색 만족도 지표1) 문제 정의: 검색 기능을 통해 선호도가 높은 상품을 발견할 수 있는가?2) 지표 정의: 스크롤 깊이별 클릭률(CTR) = 최종 스크롤 깊이가 얕을수록 가중치 * 클릭수 / 검색 결과 페이지 조회수만족도를 정의하기 위해 반대로 검색에 불만족해 문제의식을 가지는 경우, 상세페이지를 조회할 정도로 관심이 있는 상품을 발견하기까지 스크롤을 많이 하거나 시간이 몇 분이상 소요되는 경우를 떠올릴 수 있습니다.좋은 상품이 많아 어떤 것을 클릭할지 고민하는 시간이 길 수 있기 때문에 체류시간은 비례하기 어렵지만 스크롤 깊이가 깊다면 상단에 원하는 검색 결과가 노출되지 않았다고 유추할 수 있기 때문에 더 실험효과가 좋은 지표라고 생각합니다.3) 멘탈 시뮬레이션CTR ⬇: 사용자별 개인 구매 데이터를 통한 알고리즘 고도화  #3. 검색 필터 기능의 활성화 지표1) 문제 정의: 사용자는 검색 필터 기능을 적극적으로 활용해 원하는 결과를 조회하는가?2) 활성화 지표 정의메인 지표: 검색 필터 기준별 클릭률(CTR) = 기준별 검색 필터 내 '적용하기' 버튼을 클릭한 사용자 수 / 검색하기 액션을 한 사용자수서브 지표: 검색 필터 기준별 검색결과 조회 전환율(CVR) = 검색 결과 가게 클릭수 / 검색 필터 적용수메인 지표로 검색 필터가 얼마나 '많이' 사용되고 있는지, 서브 지표로 검색 필터가 '잘' 사용되고 있는지 판단합니다.3) 멘탈 시뮬레이션CTR⬆ CVR⬇: 검색 필터 자체의 사용률은 높으나 검색 필터의 결과가 사용자의 마음에 들지 않는다는 판단을 할 수 있다. 기준별로 검색 필터가 적용된 결과 데이터의 적합성을 판단해 데이터 라벨링 및 정렬 가중치 등을 개선한다.CTR⬇ CVR⬆: 검색 필터의 UI를 변경해야 할 수 있다. 검색 필터 내 UI별 클릭률을 통해 후속 액션을 결정한다. 너무 작거나 다른 버튼과 차별화되지 않아 사용자의 눈에 띄지 않거나 '적용하기'를 누르기까지 필터 내부의 사용자 동선을 개선한다.  #4. 배달 서비스에서 가장 중요한 지표1) 목적 정의비즈니스 관점: 소비자의 주문건을 증가시켜 매출을 증대시킬 수 있을까?이유) 배달 서비스의 Revenue Stream은 광고 수익, 배달 대행 수수료, 결제 수수료이므로 결제건을 증가시켜야 광고, 결제 수수료를 통한 수수료를 증대시킬 수 있다.사용자(가게, 판매자) 관점: 소비자의 주문건을 증가시켜 플랫폼을 통해 얻는 주문 매출을 증대시킬 수 있을까?2) 지표 정의메인지표: 기간별 주문건수서브지표: 기간별 주문전환율(CVR) = 총 주문 수 / 서비스 총 방문자 수이유) 배달 서비스 플랫폼과 판매자 모두에게 필요한 소비자의 최종 행동은 '주문'이기 때문이다.3) 멘탈 시뮬레이션: 어떻게 하면 기간별 주문건수를 증가시킬 수 있을까?서비스 사용성 관점: 주문에 이르기까지 활성화, 리텐션 퍼널별 전환율을 증가시킨다.마케팅 관점: 최초의 퍼널인 유입을 증가시킨다.  #5. 추천 알고리즘의 성능 지표1) 문제 정의: 알고리즘이 순위기반으로 추천한 상품에 만족할까?2) 지표 정의: MAP사용자가 원하는 아이템을 얼마나 상위권에 올려 놓는지 평가: 1000개의 추천리스트에 사용자가 원하는 상품이 있는 것과 10개의 추천리스트에 사용자가 원하는 상품이 있는 것은 확연히 다르다. 따라서 추천시스템에서는 precision과 recall을 precision@k, recall@k와 같이 상위 k개의 추천에 대한 평가지표로 표현한다.precision@k = K 개 내의 추천 항목 중 유관 항목의 수 / K 개 내의 추천 항목 수예측한 것중에 정답의 비율recall@k = (K 개 내의 추천 항목 중 유관 항목의 수) / (전체 유관 항목 수)찾아야 할 것중에 실제로 찾은 비율추천리스트 내의 rank에 따른 평가: K개의 추천리스트에서 순위도 중요하다. 사용자가 원하는 상품을 첫 번째로 보여 주는 것이 10 번째로 보여 주는 것보다 좋은 평가를 받아야 한다.→MAP(Mean Average Precision): precision@k에서 k를 점점 늘려가며 얻게되는 precision score를 평균내고 User별 전체 평균을 낸다  6. 자주 사용하는 서비스 'Duolingo'의 지표1) 문제 정의: 더 많은 사용자가 서비스에 만족하여 구독 서비스에 가입할 수 있을까?듀오링고는 수익의 70%를 '슈퍼 듀오링고'라는 서비스 구독료로부터 얻는다. 이미 활성사용자를 충분히 확보한 상태에서 플랫폼 입장에서 현재 가장 중요한 문제는 더 많은 구독자를 만드는 일일 것이다.2) 지표 정의메인 지표: 구독 서비스 결제 전환율(CVR) = 구독서비스 결제 수 / 서비스 방문자 수그 외 지표: 연속 학습 리텐션, 이탈율활성사용자수를 유지하지 위해 사용자가 결제까지 도달하지 않고 이탈하는 이유를 판단하거나 지속적으로 연속 학습을 이어갈 수 있는 유인을 마련하기 위한 보조 지표를 측정한다.  7. 퍼널 개선 프로젝트1) 문제 정의: 가입 퍼널에 온보딩을 진행함으로서 가입자를 증가시킬 수 있을까?2) 지표 정의:가입 전환율(CVR) = 회원가입 수 / 온보딩 진행 완료 수일별 리텐션: 온보딩 과정 삽입 이전 대비 삽입 이후, 회원가입 완료자의 일별 서비스 유지율이유) 온보딩을 진행함으로써 1. 회원가입까지 완료하여 서비스를 이용하고 싶어지는지, 2. 실제로 서비스의 가치가 홍보되어 회원가입 이후 서비스 이용이 지속되는지 두 가지 가설을 확인해 기대효과가 충족되는지 확인한다.

안녕하세요! 강의를 수강하며 고민이 생겨 이렇게 글을 작성하게 되었습니다. 저는 강의 수강을 시작할 당시 학생으로 데이터 분야 중 특히 데이터 분석에 가장 큰 관심을 갖고 공부를 하고자 했습니다. 하지만 현재 우연한 기회로 데이터 엔지니어로 취업하게 되었고, 데이터 파이프라인 구축, ETL, 대시보드 설계를 위주로 업무를 배우고 있는 한달차 신입입니다….ㅎㅎ 현재 저의 상황에서 카일님의 PM을 위한 데이터 리터러시 강의를 어떤 관점으로 수강하는 것이 도움이 될지에 대한 고민이 생겨 이렇게 질문을 남깁니다. 좋은 강의 감사합니다!

저는 프로덕트 디자이너입니다. 데이터를 잘 다루기로 유명한 회사에서 최근 면접을 봤고 합격했습니다. 면접 중 데이터에 대한 질문에서 대답을 명료히 하지 못했고 개선이 필요하다 생각해 해당 강의를 수강하게 되었습니다. 저는 해당 강의를 수강하고 아래 3가지를 꼭 얻고 싶습니다. 데이터를 실무에서 활용하는 방법데이터로 동료들과 협업하는 방법데이터 애널리스트와 협업하는 방법강의 수강과 복습, 연습을 꾸준히 해보려고 합니다. 적어도 입사 전까지 세션 4까지 완강하고 들어가고 싶어요! 입사 후에도 꾸준히 강의 노트를 보며 실무에 활용해보려 합니다. 완강한 후 저는 PM 만큼이나 데이터를 잘 보고 활용하는 프로덕트 디자이너가 되고 싶습니다. 잘 부탁드려요!

안녕하세요~Input metric은 선행지표, Output metric은 후행지표와 동일한 개념으로 이해하면 될까요? Input/Output metric과 선행/후행지표 간 개념 차이가 있다면 설명해주시면 감사하겠습니다~!