묻고 답해요
130만명의 커뮤니티!! 함께 토론해봐요.
인프런 TOP Writers
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
4-8. 지표 정의 연습 문제 풀이 답변 올려볼게요!
📌연습문제 1 - 기능이 잘 동작하려면?✅ 배너영역클릭률: 사용자들이 배너 영역을 얼마나 클릭하는지 - 배너 클릭 횟수 / 배너 노출 횟수배너 영역에 머무르는 체류 시간 - 체류 시간 / 관련 세션 수시간 당 노출 수: 배너가 넘어가는 속도는 적절한지? 너무 빠르지는 않은지? - 특정기간 동안 배너 노출 횟수 / 노출이 이루어진 총 시간전환율: 실제로 배너에 홍보된 이벤트에 많이 참여하거나 상품 구매까지 갔는지 (수익화) - 홍보 및 이벤트로 실제 제품 구매 / 배너 클릭 횟수ROI : 투입된 광고 대비 얻는 수익이 괜찮은지 - (광고 총 수익 - 광고 비용) / 광고 비용반응률: 소셜 미디오 공유 등 다른 반응 확인 - 배너 관련 반응 수 / 배너 노출 횟수댓글 또는 좋아요 같이 사람들이 상호작용을 하는지이 배너가 사람들이 관심을 가질만한 배너에 해당하는지배너 별로 어떻게 클릭 횟수가 다른지사람들이 어떤 배너에 더 관심이 있는지✅ 메뉴 카테고리이벤트 행동어떤 메뉴 카테고리를 사람들이 클릭했는가 (click)시간축오늘 하루 중에서 메뉴 카테고리를 가장 많이 눌렀는가?메뉴 클릭 후 얼마나 체류 하였는가?✅이런 음식은 어때요?전환율 (실제 제품 구매로 이어졌는지)좋아요, 댓글 반응 수클릭율체류 시간PV✅동네 맛집전환율 (실제 가게로 주문이 이루어졌는지)PV , UV 📌연습문제 2 - 검색 만족도 지표흐름검색창 클릭율 → 실제로 검색창을 이용한 비율 - 검색창 클릭율 / 웹사이트 방문자 수검색 후 클릭율 → 실제로 검색을 한 후 제품을 클릭한 비율 - 검색 결과를 클릭한 횟수 / 검색을 수행한 수검색 이탈률 → 검색 도중 이탈한 비율 - 검색 중단한 사용자 수 / 검색 시작한 사용자 수전환율 → 실제 검색한 키워드로 제품을 구매한 비율 - 검색한 키워드로 제품을 구매한 수 / 해당 키워드로 검색을 수행 한 수 📌연습문제 3 - 검색 필터 기능의 활성화 지표활성화 지표필터를 실제로 클릭했는가? → 필터 클릭율 = 필터 클릭 횟수 / 페이지 내 방문자 수해당 필터를 사용해서 실제 구매를 했는가? → 필터 사용 후 구매한 건수 / 필터 사용 세션 수필터 내 체류 시간이 지나치게 길지는 않은지? → 필터에서 보낸 시간 / 필터 방문자 세션 수필터를 너무 자주 바꾸지는 않는지 (자주 바꾸는 것은 원하는 제품이 없다는 뜻일수도) → 필터 설정 변경 횟수 / 필터 사용자 세션 수필터를 사용하다가 중간에 이탈한 횟수 → 필터 기능을 사용하지 않고 다시 검색창으로 돌아간 수 / 필터 기능 사용자 수 📌연습문제 4 - 배달 서비스에서 가장 중요한 지표는?구매 전환율 (결제까지 완료한 사용자 수 / 총 방문자 수)이 가장 중요한 지표라고 볼 수 있습니다.왜냐하면 실질적인 구매가 이루어져야 주문 수수료가 발생하여 회사의 직접적인 수익 창출로 연결되기 때문입니다.해당 지표를 늘리기 위한 방법으로는 3가지 정도가 있습니다.프로모션 이벤트 활용 → 할인 쿠폰, 무료 배송 등의 혜택을 제공합니다.결제 프로세스 간소화 → 결제 수단을 다양하게 하면서도 결제를 한번에 진행하도록 합니다.맞춤형 추천 → 사용자의 관심사에 맞는 음식이나 서비스를 추천하여 보여줍니다.📌연습문제 5 - 추천알고리즘 성능 지표가장 중요한 지표는추천 상품 구매 전환율입니다.( 추천 알고리즘 탭을 통해 구매한 사용자 수 / 추천 알고리즘 탭을 클릭한 사용자 수)왜냐하면 퍼널 관점에서 수익성을 늘릴 수 있는 뒷단부터 개선하는 것이 중요하기 때문입니다.그 외의 다른 중요한 지표는 아래와 같습니다.추천 알고리즘 탭 클릭률 ( 추천 알고리즘 탭 클릭한 사용자 수 / 전체 방문자 수)추천 정확도 (실제로 사용자의 취향을 반영하는가) 📌연습문제 6 - 내가 자주 사용하는 서비스제가 자주 사용하는 서비스는 차량 대여 서비스(쏘카, 그린카)입니다.이 서비스에서 제일 중요한 지표는 고객 재이용률 이라고 생각합니다.왜냐하면 차량 대여 서비스에서는 차량을 이용한 이후 받는 고객 이용료가 주요 수익이기 때문입니다.(차량을 많은 사람들이, 그리고 자주 사용할수록 이용료를 많이 받을 수 있겠죠)구체적으로 ‘차량의 반납 건수’ 지표를 이용하여 고객들이 얼마나 자주 이용하고 있는지 파악할 수 있을 듯합니다. (예약건수는 언제든 취소할 가능성이 있으니 확실한 지표가 될 수는 없을 듯해요)그 외에 확인해야하는 지표는 아래가 있습니다.예약 전환율 → 아무래도 예약 자체 건수를 높이도록 노력하는 것도 중요한 지표일 듯 합니다.차량 탐색 / 조회 이탈율 → 제품을 탐색하는 과정에서 왜 이탈하는지를 파악하는 것도 중요할 것입니다.📌연습문제 7 - 퍼널 개선 프로젝트온보딩 전환율 지표를 봐야한다고 생각합니다.이는 [온보딩을 완료하고 회원가입한 사용자 수 / 온보딩 프로세스에 진입한 총 사용자 수]로 표현할 수 있습니다.만약에 온보딩 전환율이 20%를 넘는다면, 온보딩 기능 추가가 회원가입 증대에 실질적으로 기여했다고 볼 수 있습니다.별도로 온보딩 이탈율에 대한 지표도 보면 좋을 듯합니다.이는 [ 온보딩 프로세스에서 중도 이탈한 사용자 수 / 온보딩 프로세스 진입 총 사용자 수]로 나타낼 수 있습니다.온보딩 이탈율이 낮을수록, 온보딩을 진행하는 기능이 더 효과적임을 나타냅니다.처음이라 많이 부족해서 양해 부탁드려요!조금 더 고민해볼 지점 피드백 해주시면 조금 더 보완해보겠습니다.강의 너무 잘 듣고 있고, 항상 감사합니다. 😉
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
4-8. 지표정의하기 연습문제
안녕하세요 카일님 🙂 지표에 대해 항상 어렵게 생각하였는데, 쉽게 강의해주셔서 많은 도움이 되고 있습니다.감사합니다. 연습문제에 대한 답변은 아래와 같습니다. 각 기능들이 잘 동작하는지 확인을 하려면 CTR(클릭률) 대비 메인page > 상세page로 가는 PV의 전환률의 퍼센트가 높은지 확인해야 할 것 같습니다. 페이지 전환률이 높다면 해당 기능이 잘 작동한다고 볼 수 있을 것 같습니다.고객이 검색이란 ACTION 이후 나온 필터된 페이지 내에서 CTR(클릭률)이 높다면 검색 기능에 만족했다고 생각합니다. 기능에 불만족 스러웠다면 스크롤 후 백그라운드로 이동 또는 스크롤 후 재검색 또는 앱이탈 비율이 높을 것이라고 생각합니다.검색필터기능의 활성화 지표를 확인하기 위해서는 검색 후 나온 페이지 내 필터 클릭률(CTR / PV)로 확인할 수 있을 것 같습니다. 또한, 고객이 필터를 몇 번 클릭했는지에 따라 필터 기능이 잘 사용되는지 확인할 수 있을 것 같습니다.리텐션이 가장 중요할 것 같습니다. 왜냐하면 셀러(가게), 바이어(이용자), 중간업체(배송대행사)가 유지되어야 해당 서비스가 꾸준하게 이용될 수 있기 때문입니다. 이용자의 리텐션을 높이기 위해서는 서비스(배송의 퀄리티, CS, 음식의 퀄리티)를 유지해야 구매율도 유지되고 서비스 제공자(가게, 배송대행사)도 유지될 수 있다고 생각합니다.알고리즘 성능을 확인하기 위하여 기존서비스 대비 추천 알고리즘의 클릭률(CTR)/PV과 구매전환률을 확인해야 할 것 같습니다. 왜냐하면 알고리즘이 정확하지 않다면 해당 영역을 클릭하거나 구매로 전환될 가능성이 적을 것 같다고 생각합니다.리텐션, WAU이라고 생각합니다. 예를들어 '쿠팡' 또는 '유튜브' 서비스를 빗대자면 고객이 일주일에 1번 이상은 들어와야 서비스를 해지하지 않고 사용한다고 생각하기 때문입니다. 그 외에 확인해야 할 지표는 체류시간과 가입전환율을 볼 것 같습니다. 온보딩 과정 중 온보딩의 효과를 파악하기 위하여 튜토리얼 퍼널을 조사해볼 것 같습니다. 슬랙을 예시로 들자면 어느 단계에서 사람들이 스킵을 하는지, 이탈률이 생기는 지를 확인하여 지표를 볼 것 같습니다.
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
4-8강 지표 정의하기 연습문제 답변
강의 너무 잘 듣고 있습니다!! 4-8강 연습문제에 대한 답변을 조심스레 올려봅니다.. ㅎㅎ냉철하고 날카로운 피드백 부탁드립니다!! 1. 기능이 잘 동작하고 있는지 확인하려면?해당 기능 클릭 이벤트 → 클릭에 맞는 화면의 뷰 이벤트 퍼널을 만들고 그 전환율을 확인해서, 전환율이 99.5% 이상이면 잘 동작한다고 볼 수 있을 것 같습니다.기능이 정상적으로 동작하고 있다면 해당 기능을 클릭하고 그에 맞는 화면이 떠야하기 때문에 기능 클릭 이벤트와 화면 뷰 이벤트는 사실상 100% 전환율이 나와야하지만, 데이터 수집 과정에서 누락이 있을 수 있기 때문에 그것을 감안하여 99.5% 정도의 전환율이라면 기능이 정상 작동한다고 볼 수 있을 것 같습니다. 2. 검색 만족도 지표사이에 아무 이벤트가 존재하지 않는 검색 결과 뷰 → 가게 클릭 퍼널을 만들고 그 전환율을 확인할 것 같습니다.고객이 검색기능에 만족했다는 것은 검색 후 아무런 추가 액션 없이 본인이 원하는 가게를 찾았다는 것을 의미하기에 검색 결과 화면을 확인 후 얼마나 추가 이벤트 없이 가게 클릭을 했는지의 전환율을 확인하면 고객의 검색 기능 만족도를 측정할 수 있다고 생각합니다. 3. 필터 기능의 활검색성화 지표일반적으로 검색할 때 필터를 설정하고 검색하기도 하고, 검색을 하고 필터를 설정하기도 하기 때문에 두 경우를 모두 포괄하기 위해 검색 기능이 있는 페이지 뷰 → 필터 클릭 → 필터 설정 완료 클릭 퍼널을 이벤트 사이에 이벤트 존재를 허용해서 만들어서 각 퍼널 별 전환율을 확인할 것 같습니다.뷰 → 필터 클릭 퍼널의 전환율은 유저가 필터의 필요성을 얼마나 느끼는 지 보여줄 수 있다고 생각하고,필터 클릭 → 필터 설정 퍼널의 전환율은 실제로 필터의 필요성을 느끼는 유저가 실제로 원하는 필터를 찾아서 활용하는 지 확인할 수 있는 지표가 될 수 있다고 생각합니다.이 두 지표를 조합하면 필터의 필요성을 느끼는 유저들의 비율과 필터를 실제 활용하는 유저들의 비율을 알 수있기 때문에 필터 기능의 활성화 여부를 세밀하게 구분하고, 그 결과에 따라 이후 액션 플랜을 수립할 수 있을 것 같습니다. 만약 필터 자체를 클릭을 많이 안한다면, 그 원인이 어디에 있는지 추가 분석을 해봐야 할 것 같고, 클릭은 많이 하지만 설정을 잘 안한다면 유저들이 원하는 필터가 없다는 의미로 해석할 수 있기 때문에 관련되서 추가 분석이나 유저 인터뷰를 진행하면 좋을 듯 합니다. 4. 배달 서비스에서 가장 중요한 지표는?배달 서비스에서 가장 중요한 지표는 배달 건수 & 건당 이익(매출 -비용) 이라고 생각합니다. 결국 기업에서 가장 중요한 것은 이익을 내는 것이고, 이익은 기본적으로 수량 x 한계 이익이기 때문에 배달 건수(수량) x 건당 이익(한계 이익)이 가장 중요하다고 생각합니다. 다만 배달 서비스의 특징을 고려할 때 굉장히 다양한 품목을 배달하고, 유저층도 다양하기 때문에 통합된 하나의 지표로 배달 건수와 건당 이익을 계산하기 보다는 품목별, 유저별 등 서비스 특성에 맞는 코호트를 만들어서 해당 맥락에 맞는 지표들을 구하고 의사결정에 참고할 필요가 있다고 생각합니다. 두 지표를 합쳐서 총 이익으로 보지 않고 구분하는 이유는 전체적인 흐름을 참고해서 의사결정 하기 위함입니다. 예컨데 배달건수는 엄청 많은데 건당 이익이 마이너스라면, 현재 시점에서는 배달 건수가 늘면 늘수록 적자폭이 커지는 구조이기 때문에 수익성 개선이 필요하다는 것을 알 수 있고, 건당 이익은 높은데 배달 건수가 너무 작다면 충분한 유저들이 앱을 사용하고 있지 않다는 것이므로 마케팅에 집중하거나, 유저들을 위한 신규 기능 개발을 목표로 전략을 세우는 등 두 지표를 한꺼번에 확인 함으로써 서비스의 전체적인 흐름을 파악하고 그에 맞는 전략을 도출할 수 있다고 생각합니다.배달 건수와 이익을 높이기 위해서는 사실 당연하지만 기본에 충실해야한다고 생각합니다. 사람들이 배달을 서비스를 이용하는 이유는 맛있는 음식을 편하게 먹고 싶기 때문입니다. 맛있는 음식을 먹기 위해서는 라이더가 잘 배치되서 음식이 식기 전에 배달이 되어야하고, 가격 부담이 적을수록 보다 편하게 음식을 먹을 수 있기 때문에 배달비가 합리적인 수준에 책정이 되어야 할 것입니다. 즉 이런 유저들의 니즈를 충족시켜주기위해 라이더들 확보 및 적절한 배치와 동선 효율화를 이뤄내야하고, 그 과정에서 비용 구조 혁신을 통해 유저들이 배달비에 부담스런 비용을 지불하지 않도록 해야합니다. 5. 추천 알고리즘의 성능 지표기본적으로 이커머스 서비스의 목표는 유저들에게 제품을 판매하는 것이기 때문에, 추천 알고리즘 역시 이 부분에 기여를 해야합니다. 따라서 추천 알고리즘의 성능을 파악하기 위해서는 추천 제품의 클릭율 & 클릭 후 구매 전환율 두 지표를 파악해야 한다고 생각합니다.우선 추천 제품의 클릭율이라는 것은 추천 알고리즘이 유저가 원하는 범주의 제품을 추천해주었다는 것을 의미한다고 생각합니다. 즉 알고리즘이 유저의 성향을 어느정도 파악하는데 성공했다고 볼 수 있습니다.다만, 성향을 파악했다고 해서 유저가 꼭 그 제품을 마음에 들어한다고 볼 수는 없습니다. 예컨데, 알고리즘이 유저에게 폼클렌징을 추천해주어서 유저가 제품을 클릭은 했는데, 실제 구매로 이루어지지 않았다면 추천의 범주는 어느정도 맞췄지만, 구체적인 상품 추천에는 실패했다는 것이기 때문에 결과적으로 판매에는 기여하지 못한 케이스가 됩니다. 이러한 케이스를 파악하기 위해 두 개의 지표로 구분해서 해당 지표들을 바탕으로 이후의 액션플랜을 수립해야 합니다. 6. 자주 사용하는 서비스의 지표저는 Discord 앱을 자주 활용하는데, 이 서비스에서 핵심지표는 활성 유저수 x 활성 유저당 이익 이라고 생각합니다. 그 이유는 4번 문제에 대한 답과 유사한데, 결국 모든 서비스는 이익을 창출해야 존속할 수 있고, 그렇기 위해서는 수량 x 한계 이익이 중요하기 때문입니다. 활성 유저를 기준으로 지표로 보고자 한 이유는 실제 앱을 꾸준히 쓰는 사람들이 얼마나 앱에 돈을 내고 있는지 파악하는 것이 전체 유저를 대상으로 지표를 집계하는 것 보다 더 제품의 현황을 정확하게 보여줄 것이라고 생각하기 때문입니다.추가적으로 확인해야하는 지표 2가지를 뽑는다면 WAU와 Weekly Retention을 뽑겠습니다. 제품과 관련하여 이익적인 부분을 제외하면, 제품 자체의 매력도와 힘을 지표를 통해 확인할 필요가 있다고 생각합니다. Discord의 경우 이를 대표적으로 잘 보여주는 것이 WAU와 Weekly Retention이라고 생각합니다. DAU나 Daily Retention이 아닌 이유는 제가 디스코드를 사용해본 경험상 매일매일 들어가기보다는 일주일에 두어번 정도 앱을 사용하기 때문에 일주일을 기준으로 지표들을 보는게 좀 더 유저 행동을 정확하게 볼 수 있다고 생각 했습니다. 이 두 지표는 기본적으로 유저들이 앱을 얼마나 많이, 자주 쓰는지 확인할 수 있는 지표들이기 때문에 해당 지표들을 바탕으로 앱의 매력도와 힘의 현황을 꾸준히 파악할 것 같습니다. 7.퍼널 개선 프로젝트저라면 A/B Test를 통해 기존 가입 퍼널과 온보딩을 더 진행하는 기능이 추가된 가입퍼널의 최종 가입 전환율을 비교 할 것 같습니다.목표 지표는 최종 가입 전환율이지만, 온보딩을 진행하는 과정에 이벤트들을 심어서 각 온보딩 진행 구간 별로 유저들의 전환율이 어떻게 되는지 확인해서 이후 액션에 참고 할 것 같습니다. 예를 들면, 온보딩을 더 진행하는 것 자체는 유저들이 관심을 가져서 전환이 이루어졌으나, 그게 실제로 가입 전환에는 도움이 안되는 경우 온보딩을 추가하는 기획 자체는 남겨두고 온보딩을 더 발전시키는 형태로 추가 액션을 가져가는 경우가 있을 것 같습니다.
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
수강목표
🤔 P: 현업에서 사용하는 지표는 무엇이고, 이를 바탕으로 프로젝트를 진행할 때 어떤 지표를 사용해야할지 판단이 가지 않는다.S: 관련 강의섹션 4. 성과 측정을 위한 지표(Metric) 정의섹션 5. 결제 전환율 개선 프로젝트 - 문제 정의, 데이터 기반 프로젝트 진행 Process섹션 6. 데이터 로그 설계, 데이터 QA 💡 이 강의를 통해서 얻고 싶은 3가지는?현업에서 사용하는 지표의 종류와 내용에 대해서 설명할 수 있다.데이터를 수집할 때 어떤 지표를 기준으로 수집할지 설명할 수 있다.프로젝트를 할 때 데이터를 보고 어떤 지표를 봐야할지 설명할 수 있다.💡 그걸 위해 내가 할 노력은?지표에 대한 개념을 하나 알게 되면 데이터를 구해서 적용해보기예시: PV(Page View)를 배웠으면 이커머스 데이터로 적용해보기💡 수강한 이후 내가 생각하는 나의 변화는?프로젝트를 수행할 때 어떤 지표를 기준으로 데이터를 분석해야할지 판단이 선다. 우선 목표를 작게 잡고 천천히 여유를 가지고 진행해보겠습니다.좋은 강의 감사합니다.
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
4-8. 지표 정의 연습문제 답변
안녕하세요 🙂 카일님. 강의 정말 잘 듣고 있습니다. :) 답변 첨부합니다!! #1.1순위로 CTR, 그 이후 2순위로 CVR을 확인해본다. 우선 CTR을 확인해 어떤 기능이 가장 클릭율이 높은지를 확인 (어떤 콘텐츠가 가장 좋은지 확인)하고, 그 이후의 결제 전환율을 확인해서 해당 기능의 퍼널 상 문제가 있는지를 확인한다. #2.두가지 답변을 생각했습니다![1번째]검색 결과 페이지에서 최상단 5개 콘텐츠(스크롤을 최소로 했을 경우에 페이지에 노출되는 콘텐츠)의 CTR을 확인한다. 만약 최하단에 있는 콘텐츠를 클릭했을 경우, 검색결과에 만족하지 않았을 확률이 크기 때문이다. 만약 필터버튼의 CTR이 타 콘텐츠보다 높다면, 이 또한 검색결과에 만족하지 않았을 확률이 크다. 재조작하여 새롭게 필터링 된 결과를 보고싶어 하는 것이기 때문이다.[2번째]최초 검색부터 전환(결제)까지 발생한 총 이벤트 수를 세어본다. (가장 최소한의 루트를 좋은 것으로 생각한다.) #3.검색 필터기능 활성화 지표 = CTR이 낮을수록 좋음, 첫 클릭 이후 재클릭 리텐션이 낮을수록 좋음.이유 : 검색 필터 버튼의 CTR이 낮을 수록 디폴트 검색결과에 만족한다는 뜻인 것 같다. 이후 커스터마이징 된 결과값을 얻고 싶다면 첫 클릭을 할 것이고, 그 이후 추가 클릭을 했다면 결과값에 만족하지 못했다는 뜻으로 간주할 것이다. #4.AARRR 퍼널에서의 각 단계 CVR 중요할 것 같다. 그 중 Revenue (결제 전환)의 CVR이 가장 중요하다 생각한다. 해당 지표를 높이기 위해서는 AAR 지표의 CVR을 높일 것이다.Acquisition : 더욱 공격적인 마케팅, Referral 빈도 높이기Activation : 푸시메시지 등을 통한 리텐션 높이기, 서비스 내 콘텐츠 CTR 분석 후 CTR이 높은 항목을 더욱 활성화 #5.추천을 하지 않았을 때, 추천을 했을 때 전-후 AB Test를 통해 결제전환 CVR을 비교분석한다.추천 알고리즘의 성능을 파악하기 위해, 스크롤을 하지 않은 1-page 내 콘텐츠의 CTR, CVR을 확인해볼 것 같다. 이 또한 1순위로 CTR, 그 이후 2순위로 CVR을 확인해보는데, 우선 CTR을 확인해 어떤 기능이 가장 클릭율이 높은지를 확인 (어떤 콘텐츠가 가장 좋은지 확인)하고, 그 이후의 결제 전환율을 확인해서 해당 추천이 유효한지를 파악할 것이다. #6.인스타그램.좋아요,댓글,메시지 등의 이벤트를 발생시키는 AU가 가장 중요하다. 왜냐하면 Meta에 광고를 실은 광고주들의 노출 볼륨과 참여빈도를 높여, 메타의 BM을 유효화해야 하기 때문이다.그 외 확인해야 하는 지표 : 탐색탭에서의 추천 알고리즘이 적용된 콘텐츠 CTR, 유저 인게이지먼트 (좋아요/댓글/메시지 활동 빈도) #7.‘B2B 업무용 SaaS’를 가정하고 생각했습니다.온보딩기능 도입 전/후의 결제전환율을 파악하기 위한 AB테스트를 실행할 것 같습니다. 이후 온보딩을 진행한 유저를 대상으로 정성적인 피드백을 수집할 것 같습니다.
-
해결됨AB 테스트 실무자 완벽 가이드
최소 샘플 사이즈 관련 문의드립니다.
만약에 하기와 같은 실험이면 어떻게 최소 샘플 사이즈를 구하나요? 기존 광고는 이미지 광고였습니다. 그래서 비디오 광고로 바꾸고자해서 ABT를 합니다. 이 때 Success metric은 Click 수 입니다. (CTR이 아님) 클릭수 : 10,000회MDE : 15,000회 --> (15000-10000)/10000 = 0.5Alpha = 0.05Beta = 0.8이렇게 Baseline conversion rate(소수)이 아니고 Baseline conversion 정수면 어떻게 해야할까요?
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
추천을 통한 주문 전환율
#5. 결제 전환율 개선 프로젝트 강의에서메인지표를 추천 클릭율과 추천을 통한 주문 전환율(CVR)로 설정해주셨는데, 여기서 추천을 통한 주문 전환율을 이렇게 계산하는 걸까요?-> 결제 완료자 수 / 최소 주문 금액을 넘지 않은 상태로 카트페이지에 진입 후,추천 버튼 사용자 수
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
chap4. 지표 문제 1번 풀이
안녕하세요! 강의 들으면서 4챕터 과제 하나씩 수행해보고 있습니다.강의를 직접 듣는것과 다르게.. 역시 실전은 어려운 거 같네요!저는 조금 느려서 1번만 먼저 풀어서 올려봤습니다. 블로그에 작성하였으니 확인 부탁드립니다!https://everyday-joyful.tistory.com/349좋은 강의 정말 감사합니다 🙂 그리고 이런 질문은 여기 인프런 게시판이 나은지, 디스코드 '질문있어요'가 나은지 궁금합니다.
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
6-6 이벤트 텍소노미 use_recommend_food 관련 질문
안녕하세요. 6-6 10분 경 use_recommend_food 관련 질문이 있습니다. use_recommend_food는 추천한 음식(food id)을 결제단계까지 가지고 있었는지의 유무를 true/false로 추적하는 것인가요?? 이렇게 간단한(?) 이벤트로 상품을 새롭게 추가함/추가한 상품을 삭제함/상품을 추가하지 않음 이라는 여러 상황들을 고려할 수 있는 건지 궁금합니다..!
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
디스코드 초대링크 만료
안녕하세요 :) 최근 강의를 수강하면서 디스코드에 입장하려 했는데 만료된 링크라고 나옵니다. 혹시 새로운 링크로 입장이 가능할까요?
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
6-6. 결제 확인 클릭에서 가격 파라미터 질문 드립니다.
강의에서 2번 CVR을 구할 때, click_payment 이벤트에 payment_type, use_recommend_food 이렇게 두가지 파라미터를 받았습니다. 만약 view_결제 확인 페이지(결제하기 버튼 클릭 전 결제 페이지)로 하게된다면 이때는 화면에 보이는 값들인 주소와 가격 파라미터를 추가해야하는지 궁금합니다! 가격정보는 view_cart에서 이미 받은 정보라 필요없을까요? 항상 감사드립니다!
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
6-6. 만약 카트 내 추가 버튼 클릭에 스크린 이름을 추가한다면
안녕하세요! 로그를 설계할 때,click_recommend_food 이벤트의 파라미터에 화면 정보(cart)를 넣게되면 분자/분모로 계산하지 않아도 되는걸지 궁금합니다!강의 예제에서는 '최소 주문금액을 넘지 않은' 부분을 나타내기 위해서 해당 페이지를 본 수와 클릭수를 따로 해야할 것 같은데 만약 해당 조건이 없는 경우 위처럼 'screen : cart'와 같은 파라미터로도 카트 내에서 일어나는 버튼 클릭 수를 볼 수 있을까요?
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
지표에 대한 정의를 수정할 때에 대한 질문
안녕하세요! 4단원 지표 정의까지 강의를 듣고 직접 개인 사이트를 만들어 문제 정의, 지표 수립의 과정을 실습해보려고 계획하는 중에 질문이 생겼습니다. 사이트를 운영하면서 같은 지표(ex. 전환율)에 대해서 정의하는 방식을 수정하고 싶은 경우에는 수정 전/후의 데이터를 어떻게 분석해야 좋을지, 어떤 점을 유의해야 할지 궁금합니다.사이트 운영 이전에 최대한 구체적이고 목적에 부합하는 지표를 정의하는 것이 가장 좋지만,실제로 운영하면서 데이터를 보기 전까지는 구체적으로 감을 잡기 어려운 부분이 있다고 느꼈습니다.예를 들어서, 세션에 대한 정의를 할 때 보통 '몇 분 동안' 활동이 없을 때 세션 종료라고 정의해야 할까?에 대한 reference로 삼을 만한 데이터가 없다 보니 대략적인 추측으로 정의해야 하는 부분이 있는 것 같아요. 이런 경우에는 보통 어떻게 추정치를 잡는지, 중간에 지표에 대한 정의를 수정하는 게 불가피한 경우에는 보통 현업에서 어떻게 하는지 궁금합니다! 데이터 수집은 GA4와 GTM을 사용할 계획입니다.
-
해결됨AB 테스트 실무자 완벽 가이드
최소 샘플 사이즈 관련 질문
선생님 안녕하세요 좋은강의 감사합니다. A/B 테스트 실헙계획 - 집단크기 결정 관련해서 내용 질문이 있습니다. 해당 강의의 내용은, AB테스트가 유의미해지려면 필요로하는 최소 샘플사이즈가 있다 인데요 python scipy 에서 ttest_ind 함수를 사용하면요 from scipy import statst, p = stats.ttest_ind(array1, array2, equal_var= False)이런식으로 하면 t와 p가 정해지는데, 여기에서 array 1과 array 2가 최소 샘플 수를 만족시킨다는 보장이 없는 것이잖아요.그럼 여기에서 나온 t p는 어떻게 해석해야 하는건가요?
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
5-3. 카트 추가 횟수에서 시간간격을 안보는 이유
안녕하세요!5-3의 가설 1번에서 유저들은 2회 이내로 카트에 추가하고 있다는 데이터가 나왔습니다.이때 시간 간격을 봐도 애매하다고 언급해주셨는데 이는 2회 이상추가한 유저 수가 너무 적어 비교해도 의미가 없을지도 모른다는 뜻으로 생각해도 괜찮을까요? (어차피 여러번 카트에 추가하는 유저는 적다는 결론이 나왔으니)
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
수강 목표
저는 프로덕트 디자이너입니다. 데이터를 잘 다루기로 유명한 회사에서 최근 면접을 봤고 합격했습니다. 면접 중 데이터에 대한 질문에서 대답을 명료히 하지 못했고 개선이 필요하다 생각해 해당 강의를 수강하게 되었습니다. 저는 해당 강의를 수강하고 아래 3가지를 꼭 얻고 싶습니다. 데이터를 실무에서 활용하는 방법데이터로 동료들과 협업하는 방법데이터 애널리스트와 협업하는 방법강의 수강과 복습, 연습을 꾸준히 해보려고 합니다. 적어도 입사 전까지 세션 4까지 완강하고 들어가고 싶어요! 입사 후에도 꾸준히 강의 노트를 보며 실무에 활용해보려 합니다. 완강한 후 저는 PM 만큼이나 데이터를 잘 보고 활용하는 프로덕트 디자이너가 되고 싶습니다. 잘 부탁드려요!
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
6-7 데이터로그설계 연습 문제
안녕하세요, 선생님! 연습문제를 풀고 구글 스프레드 시트와 블로그에 정리해두었어요.검색 필터 기능 로그 지표 부분에서 질문이 있어 스프레드시트 event컬럼에 초록색으로 표기해두었는데요1) 검색필터 기본, 주문 많은 순, 배달 빠른 순 등등 세분화된 필터를 파라미터에 명시해두는 것이 나을지2) 파라미터단에는 filter_name, filter_id 정도로 명시해두고 value에서 설명을 달아두는 것이 나을지 헷갈리더라구요.1안과 2안 중 어떤 것이 업무에서 효율적인지 그렇다면 이유가 무엇인지 궁금합니다! 감사합니다. 새해 복 많이 받으세요!
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
4-8 지표 정의하기 연습문제
안녕하세요 🙂 연말을 불태우면서 열심히 공부하고 있는 수강생입니다. Product 분석에 관심이 생겨 열심히 수강을 하고 있는데, 4-8 지표 정의하기 연습문제 제 나름대로의 풀이를 전달드립니다. 저는 기본적으로 목적 -> 예상 문제를 정의하고 지표와 선정사유를 기입해두었는데요. 이러한 사고방식이 맞나 싶기도 합니다. 다음과 같이 전달드립니다. 지표 정의하기 문제 1. 기능은 잘 작동이 되고 있나요…?목적 : 지표를 통하여 고객들이 홈화면에서 자사에서 의도한 최종 목적까지 원활하게 서비스를 이용하는지 파악이 필요하다.예상 문제 정의 :홈 화면에서 특정 기능은 너무 복잡한 UX/UI로 인해 관심도가 떨어지고, 고객에게 번거로움만 줄 것이다. 이로 인하여 고객이 이탈하게 된다.배너에서 고객이 선호하는 배너 노출이 있을 것이며, 이에 따라 CTR의 지표가 증감하며, 고객 이탈의 원인이 있을 것이다.첫 화면에서 메뉴 노출 카테고리가 고객의 선호도에 맞게 설정이 되어 있지 않다. 이로 인하여 고객이 이탈하게 된다.지표 및 선정 사유첫 세션 방문자 기준 CTR첫 퍼널 & 고객 선호 기능 파악을 하는 의도첫 세션 클릭이 배너/메뉴 카테고리/ 이런 음식 어때요 / 동네 맛집 기능인 고객의 방문페이지 당 전환 수/ 고객 당 전환 수방문 페이지 당 전환이 낮을 경우 이를 통하여 전환까지의 Funnel에 문제가 있음을 발견 ex) 계속 여러 화면을 통하여 고객의 Funnel이 길어지는 현상고객 당 전환수를 통하여 방문 페이지 당 전환수와 대비하여 Funnel 개선을 통하여 전환 수를 크게 바꿀 수 있는지를 검증 지표 정의하기 문제 2. 검색 만족도 지표 목적 : 배달 서비스 관련하여 고객이 검색 기능에 만족을 했는지 파악하고 싶다.예상 문제 정의 고객이 검색 기능을 통하여 원하는 음식을 빠르게 찾고, 주문을 할 수 있었다면 검색의 기능이 원활하게 작동하고 있는 것이다.지표 및 선정 사유세션 방문 대비 고객의 검색 기능 활용 빈도 / 재활용 고객 분포고객이 검색 기능을 통해 배달 음식을 찾아내는지 빈도를 알아낼 수 있음검색 기능을 활용한 고객 주문 전환율최종적으로 고객의 전환이 이루어졌는지 확인할 수 있음 지표 정의하기 문제 3. 검색 필터 기능의 활성화 지표 목적 : 고객이 검색 필터를 통하여 원하는 정보를 찾을 수 있는지 확인해보고 싶다.예상 문제 정의 고객이 검색 필터를 잘 활용하고 있다면, 필터 사용 이후 원하는 음식을 찾고 전환까지 진행했을 것이다.지표 및 선정 사유고객의 필터 기능 활용 빈도고객이 필터 기능을 통해 배달 음식을 찾아내는지 빈도를 알아낼 수 있음필터 내, 정렬 기능 별 클릭 수 고객이 어떤 기준으로 정렬을 하는지 선호도 파악을 위한 지표 지표 정의하기 문제 4. 배달 서비스에서 가장 중요한 지표는? 목적 : 배달 서비스에서 가장 중요한 지표를 찾고 싶다. 예상 문제 정의 고객의 입장에서 100점짜리 배달서비스는 저렴한 가격/ 신속 배달 / 맛있는 음식점만 선별 되는 배달 서비스일 것이다.배달서비스에서 100점짜리 고객은 한번 구매 이후 계속해서 서비스를 이용하며 Cross-sell / Up-sell이 일어나는 고객일 것이다.지표 및 선정 사유Retention & 평균 구매 주기고객이 지속적으로 떠나지 않고 우리 서비스를 이용하는 지, 판단구매 주기를 통하여 Retention의 기간을 어떻게 잡아야할지 판단. 지표 정의하기 문제 5. 추천 알고리즘의 성능 지표 목적 : 추천 알고리즘의 성능을 나타낼 수 있는 지표를 알고 싶다.예상 문제 정의 알고리즘이 잘 작동한다면, 고객의 전환율이 높아지고 있을 것이다.알고리즘이 잘 작동한다면, 고객의 Cross-sell/Up-sell 빈도가 높아지고 있을 것이다.지표 및 선정 사유추천 알고리즘을 통한 주문 전환율 / Up-sell / Cross-sell 고객 비중추천 알고리즘은 연관 제품을 통하여 Up-sell / Cross-sell을 유도하는데 목적이 있다고 판단 따라서 고객군 별 전환 차이를 통하여 효과를 검증할 수 있을 것 지표 정의하기 문제 6. 여러분들이 자주 사용하는 서비스의 지표 여기에서는 제가 가장 많이 사용하는 서비스인 토스 증권를 예시로 들겠습니다.목적 : 토스 증권에서 가장 중요시 하는 지표를 찾아낸다예상 문제 정의 토스 증권에서 핵심적인 수익은 주식을 팔고 사는 것에 대한 수수료이다.주식에 대한 관심도를 높이고 쉽게 거래를 할 수 있으면 거래량이 늘어날 것이다.정기적인 거래를 거래를 할 수 있다면 주식 거래 습관이 형성할 수 있을 것이다.지표 및 선정 사유고객 당 일/월별 거래량기본적이 고객의 주식 거래 빈도를 통해 고객군이 어떻게 형성되어 있는지 확인할 수 있다.정기 구매 주식 서비스 사용 빈도정기적으로 습관이 형성된 고객군을 분리할 수 있으며, 서비스의 만족도가 높은 고객으로 판단할 수 있다.주식 컨텐츠 CTR 및 주식 컨텐츠를 통한 CVR주식에 대한 관심도가 높아진 것으로 판단할 수 있으며, 콘텐츠를 통하여 주식 거래 전환을 유도할 수 있는지 판단 지표 정의하기 문제 7. 퍼널 개선 프로젝트 목적 : 가입 퍼널 개선을 위해서 퍼널 분석을 통해 문제점을 찾아낸다.예상 문제 정의 각 퍼널은 다운로드 -> 회원가입 클릭 -> 정보 입력 -> 회원 가입 완료로 이루어진다.특정 퍼널에서 이탈이 많이 이루어 지고 있다. 특히 정보 입력에서 문제점이 있는 것으로 확인이 된다.정보 입력 퍼널 내에서 간소화 하기 위하여 간편 가입 시스템을 도입한다.지표 및 선정 사유각 퍼널별 이탈률 & 회원가입 전환율앞선 문제에서 개선한 부분이 잘 반영이 되었고, 고객에게 효과가 있었는지 검증. 부족한 부분도 많은데, 많이 배우고 있습니다 🙂 감사합니다
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
6-6 메인지표 SQL쿼리 짜보기
안녕하세요, 선생님. 이번 강의에서 질문이 하나 더 있었습니다! 앞에 남긴 질문과 한꺼번에 남길걸 그랬네요..😅 선생님께서 추천을 통한 주문 전환률 (CVR) 을 구하기 위해 작성한 쿼리를 보니# 선생님 풀이 SELECT event_date , use_recomend_payment / click_recomend_food AS recommend_cvr FROM( SELECT event_date , COUNTIF(event_name = " click_payment" AND use_recommend_food = "TRUE") AS use_recomend_payment #추천음식 클릭하여 결제 , COUNTIF(event_name = "click_recommend_food") AS click_recommend_food #추천음식 클릭 FROM log WHERE is_meet_min_order_price = 'False' GROUP BY event_date ) AS temp 1) 추천상품 클릭하여 전환된 횟수 ( use_recomend_payment)와, 추천음식을 클릭한 횟수(click_recommend_food) 를 구해서 from절 서브쿼리에 넣기2) 추천상품 클릭하여 전환된 횟수 / 추천음식 클릭 횟수 연산하여 recommend_cvr 구하기이렇게 from 절을 써야하더라구요. 선생님의 해설을 보기 전, 스스로 풀었을 때는 from절을 쓰지 않고 그냥 한번에 썼었습니다. #셀프풀이 SELECT event_date , COUNTIF(event_name = " click_payment" AND use_recommend_food = "TRUE") AS use_recomend_payment #추천음식 클릭하여 결제 , COUNTIF(event_name = "click_recommend_food") AS click_recommend_food , COUNTIF(event_name = " click_payment" AND use_recommend_food = "TRUE") / COUNTIF(event_name = "click_recommend_food") AS recommend_cvr FROM log WHERE is_meet_min_order_price = 'False' GROUP BY event_date혹시 이렇게 한번에 쓰면 오류가 발생하는지, 서브쿼리를 사용하여 풀어야 하는 이유가 무엇인지 궁금합니다! 여유있으실 때 회신 주세요.감사합니다!
-
해결됨PM을 위한 데이터 리터러시(프로덕트 데이터 분석)
6-6 프로젝트 데이터 로그 설계하기
11:48 저장되는 데이터 형태 상상하기 안녕하세요 선생님is_meet_min_order_price 에 True/False 형태로 파라미터를 입력하는데 False만 쓰고 제일 마지막 로그에는 빈값으로 되어있더라구요 마지막에 True로 안적고 그냥 공란으로 두어도 괜찮은건가요?