kyleschool

Lead 레벨

안녕하세요. 과제 푸시느라 고생하셨습니다!이전 답변에 제가 조금 더 상대방이 이해하게 되도록 작성해보면 좋겠다고 말씀드렸는데 이 과제를 수정해서 공유해보면 어떨까요?지금 느낌은 "로그 설계에 대한 전문성이 있는 것 같으신데, 다른 사람에게 전달할 때는 자신만의 언어로 쓰는 느낌입니다" 이런 느낌이 과제에서 있는데, 만약 면접에서도 비슷하게 하신다면 상대방이 잘 이해를 못할 가능성이 있을 것 같습니다.쉼표도 밑에 있고 구조가 좀 덜 정돈되어서 이걸 정돈하는 것을 해보시는 것이 어떨까 싶어요.그리고 GTM 관점으로 말씀해주셨는데, 너무 GTM 의존성이 크게 생각하는 것보단 강의에서 나온 것 위주로 좀 더 하이레벨로 생각해보시는 것을 추천드려요. GTM을 안쓰는 회사도 있을거고(Amplitude 등) 그 관점에서 어떻게 로그 설계를 전달할지 보는 것도 유의미할거라 생각해요.&nbsp;추가 질문은 강의를 다 수강하시고 코칭에서 해결하시는 것이 좋을 것 같아요. 짧은 내용으로 맥락을 다 알긴 어렵거든요(N년차라고 해주셨는데 이게 2년차인지 10년차인지에 따라 전략도 다를거구요). 먼저 말씀드릴 수 있는 부분은 지금 분석을 통한 액션 아이템을 발굴한 적이 없다고 말씀하시는건데, 그런 경우는 학위가 문제가 아니라 진짜 경험을 해야 합니다. 분석한 케이스를 만드는게 본질이지 학위나 다른 스킬로 어필 등이 본질은 아닌 것 같아요.저는 작게라도 서비스를 만들고 그 지표를 상승시키는 경험을 하라고 권합니다. 이게 시간이 걸리는 일이긴 하지만 한번 하면 PM 관점도 익힐 수 있고, 개발은 AI에게 시키면 됩니다<a target="_blank" rel="noopener noreferrer nofollow" href="https://youtu.be/oeC8yQXjaBg?si=RMKSpKe7sDSwRi9e">https://youtu.be/oeC8yQXjaBg?si=RMKSpKe7sDSwRi9e</a>위 영상을 한번 보시고 고정 댓글도 살펴보시는 것을 추천합니다. 2년 전이지만 동일하게 말하고 있고, 실제로 웹을 간단하게 만들어서 배포하고 지표를 올린 경험을 한 분들은 좋은 곳에 가셨습니다. 시간이 걸리는 일이지만 가치 있는 경험을 만드는 방법이라 생각합니다.

6-7 로그설계하기 연습문제 제출/ 피드백 요청

Ray Kim님 안녕하세요. 문제 푸느라 고생하셨습니다&nbsp;작성해주신 내용을 보고 처음 든 생각을 먼저 말씀드릴게요핵심을 파악하기까지 시간이 오래 걸립니다.작성해주신 내용이 꽤 있는데, 그래서 핵심이 뭔지 바로 보이지 않습니다. 이 문장들을 보는 사람이 인지적으로 생각을 많이 해야 합니다. 핵심적인 내용을 잘 전달하는 형식으로 작성해보시면 좋을 것 같습니다. 내용은 잘 작성해주셨는데 조금만 더 수정을 해보면 좋을 것 같습니다.<blockquote>작성해주신 내용#1. 기능이 잘 동작하고 있는지 확인하려면각 영역 별 사용자의 인터랙션 및 관심도를 확인하기 위한 콘텐츠 별 CTR 확인&nbsp;전제 조건으로 각 앱 카테고리 요소(배너영역, 메뉴카테고리, etc) 영역이 픽셀기준 사용자에게 노출되면 contents_impression이라는 이벤트가 발생하고 하위 파라미터로 location 디멘젼에 {{카테고리명}}이 적재. 또한, 사용자가 그 세부 콘텐츠를 클릭 시에 contents_click이라는 이벤트가 발생하고 하위 파라미터로 location 디멘젼에 {{카테고리명}} 및 클릭된 콘텐츠의 {{콘텐츠명}}을 click_text로 저장 따라서 contents_impression / contents_click 으로 CTR을 구하고 디멘젼 location과 click_text를 활용하여 사용자 별로 고관여 콘텐츠와 저관여 콘텐츠를 확인하여 해당 데이터를 기반으로 고도화 작업을 진행한다.</blockquote>&nbsp;저라면<ul><li>목적 : 각 영역 별 사용자의 인터랙션 및 관심도를 확인하기 위한 콘텐츠 별 CTR 확인</li><li>지표 : CTR(contents_impression / contents_click)</li><li>지표 정의 근거 :</li><li>의사 결정 기준<ul><li>어떻게 의사 결정을 할 것인지 작성</li></ul></li></ul>&nbsp;이 부분은 로그 설게가 아니라 "지표 정의"입니다. 따라서 지표를 어떻게 정의했는지가 핵심입니다. 지금은 로그 설계까지 내용을 포함해서 본질적인 부분이 덜 보입니다.&nbsp;로그 설계를 추가하고 싶다면 전제보다는 아래쪽에 로그 설계라고 따로 뺄 것 같습니다로그 설계<ul><li>contents_impression 이벤트<ul><li>각 앱 카테고리 요소가 사용자에게 노출시</li><li>파라미터<ul><li>location</li></ul></li></ul></li><li>contents_click 이벤트<ul><li>세부 콘텐츠 클릭시 발생</li></ul></li><li>자세한 예시는 Tracking Plan 참고</li></ul>&nbsp;위와 같이 전반적으로 정리해보시는 것을 추천합니다. 과제 작성을 하시는 패턴과 이력서, 포트폴리오도 비슷할 수 있더라구요.&nbsp;그럼 형태는 차치하고 지표에 대한 피드백을 드리면&nbsp;#1. 기능이 잘 동작하고 있는지 확인하려면&nbsp;<blockquote>각 영역 별 사용자의 인터랙션 및 관심도를 확인하기 위한 콘텐츠 별 CTR 확인&nbsp;전제 조건으로 각 앱 카테고리 요소(배너영역, 메뉴카테고리, etc) 영역이 픽셀기준 사용자에게 노출되면 contents_impression이라는 이벤트가 발생하고 하위 파라미터로 location 디멘젼에 {{카테고리명}}이 적재. 또한, 사용자가 그 세부 콘텐츠를 클릭 시에 contents_click이라는 이벤트가 발생하고 하위 파라미터로 location 디멘젼에 {{카테고리명}} 및 클릭된 콘텐츠의 {{콘텐츠명}}을 click_text로 저장 따라서 contents_impression / contents_click 으로 CTR을 구하고 디멘젼 location과 click_text를 활용하여 사용자 별로 고관여 콘텐츠와 저관여 콘텐츠를 확인하여 해당 데이터를 기반으로 고도화 작업을 진행한다.</blockquote><ul><li>이 부분에선 왜 이 지표인지?를 명확히 써주시고</li><li>지표가 바뀌면 어떻게 의사결정을 할 것인지까지 써주는 것을 추천합니다</li><li>지표는 명확하게 지표 : XXX 이렇게 쓰는 것이 잘 보일 겁니다.</li><li>CTR로 선택하신 것은 좋습니다</li></ul>&nbsp;#2. 검색 만족도 지표<blockquote>먼저 사용자가 검색을 완료하면 search_comp라는 이벤트가 발생하도록 설계 및 검색 완료 페이지에서 해당 상품카드를 클릭시 search_contents_click이벤트가 발생하도록 이벤트 태깅을 한다.이후 적재된 데이터를 기반으로 search_contents_click / search_comp 비율을 계산. 이후 사용자 디멘젼 active user기준으로 해당 비율을 보게되면 만약 해당 값이 1에 가까울 경우 한번 검색후 바로 상품을 클릭했으므로 비교적 검색 기능이 원활하게 작동했다고 볼 수 있지만, 반대로 낮은 경우 클릭까지 도달하기위해 여러번 검색을 반복했다는 뜻이 되므로 수정보완이 필요하다고 해석이 가능함.</blockquote><ul><li>search_contents_click / search_comp 비율이라는 것을 단어로 표현해야 합니다.<ul><li>결국 검색 클릭률으로 보이는데, 단어만 더 명시적으로 보이면 좋을 것 같습니다</li></ul></li><li>검색 알고리즘에서는 검색이 제대로 나오는지도 중요합니다. 만약 검색 결과가 3개만 나온 경우랑 20개 나온 경우랑 클릭률이 같아도 의미는 달라집니다</li><li>이런 맥락에서 알고리즘 지표도 봐야 합니다. 아래 글을 참고해보세요<ul><li><a target="_blank" rel="noopener noreferrer nofollow" href="https://medium.com/naver-dna-tech-blog/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D%EC%9D%84-%ED%99%9C%EC%9A%A9%ED%95%9C-%EA%B2%80%EC%83%89-%ED%92%88%EC%A7%88-%EC%A7%80%ED%91%9C-%EA%B0%9C%EB%B0%9C-sigir23-paper-recap-6090914005a8">https://medium.com/naver-dna-tech-blog/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D%EC%9D%84-%ED%99%9C%EC%9A%A9%ED%95%9C-%EA%B2%80%EC%83%89-%ED%92%88%EC%A7%88-%EC%A7%80%ED%91%9C-%EA%B0%9C%EB%B0%9C-sigir23-paper-recap-6090914005a8</a></li></ul></li><li>추가로 comp가 뭐지?라는 생각이 들었어요. completion의 약자인 것 같은데 로그 설계에서 축약어라면 어떤 단어의 축약인지 처음 써주는 것을 추천합니다</li></ul>&nbsp;&nbsp;#3. 검색 필터 기능의 활성화 지표<blockquote>검색 필터의 기능별 활성화 정도를 파악하기 위하여 이벤트 "search_filter_click"를 정의. 트리거 조건은 필터 영역 최상단 요소를 트리거 엘리먼트로 지정하여 하위 요소를 클릭시 이벤트 발생. 하위 디멘전으로 click_text를 수집하여 어떤 필터 요소를 사람들이 많이 사용하는지 그리고 각 필터 카테고리를 filter_category라는 파라미터를 붙여 수집하여 어떤 세부 필터 기능을 상위 카테고리에서 많이 사용하고 덜 사용하는지 데이터 기반으로 확인 가능. 즉, search_filter_click 이벤트 + filter_category + click_text를 event cnt 및 active user 기준으로 확인하여 활성화 상태를 확인.</blockquote>search_filter_click 이벤트 + filter_category + click_text를 event cnt 및 active user 기준으로 확인라고 해주셨는데 이 문장이 잘 이해가 안되네요. 앞엔 필터 클릭 이벤트고 뒤엔 필터 카테고리에 클릭 텍스트인가요? 이게 문장은 긴데 정확하게 무엇인지 이해가 잘 안갑니다. 이런 경우라면 부가적으로 설명을 추가를 하거나 명시적으로 설명하는 것이 필요합니다.&nbsp;#4. 배달 서비스에서 가장 중요한 지표는?<blockquote>"구매 사용자의 리텐션"1) 첫번째 이유는 배달서비스의 경우 사용주기가 짧은 서비스라고 생각하며, 최초 구매 시점 이후로 반복적으로 플랫폼에서 주문을 해주는 것이 비지니스 차원에서 가장 바람직한 상황이라고 생각한다. 2) 리텐션 증가를 위해서는 서비스 핵심 퍼널 분석을 통해서 어느 구간에서 사용자가 이탈하는지를 확인하여 추가적인 세그먼트 분석 및 기능 개선을 위한 A/B테스트를 진행 및 반영하여 서비스 고도화를 통해 이탈률을 개선한다.</blockquote>&nbsp;<ul><li>"배달 서비스"라고 명시한 이유가 있습니다. 지금 리텐션 지표를 제시했는데 리텐션 지표는 Output 지표입니다. 서비스의 핵심 지표가 무엇이냐?라는 질문에 DAU, 리텐션, 매출을 제시할 수 있고 중요한 것은 맞지만 저는 Input Metric을 제시하는 사람이 데이터를 잘 보는 사람이라 생각합니다. Input Metric이 늘어나면 Output Metric도 개선이 될 거라서요.</li><li>그래서 지금은 배달 서비스의 비즈니스 모델에 대해 고민해보시고 다시 지표를 골라보시면 좋겠습니다. 리텐션에 써주신 부분은 다른 서비스에서 써도 그대로 적용이 되는데, 그러면 Specific한 지표는 아닐 가능성이 큽니다.</li></ul>&nbsp;#5. 추천 알고리즘의 성능 지표<blockquote>가장 중요한 것은 추천 알고리즘에 영향을 받은 사용자가 매출로 이어지는 인과관계 분석 1) 추천 기반 매출 비중이 어느정도 되는지? 2) ARPU (사용자 별 평균 구매 금액) 3) AOV(평균 구매 금액) 4) 추천 영역 별 노출 대비 클릭 CTR 지표 5) 클릭 이후 실제 주문으로 이어지는지 recomm_cart_to_order_CVR 지표 확인 "order / add_to_cart" 구매 및 장바구니 이벤트가 존재한다고 가정하고 생각함. 6) END TO END 지표 노출부터 실제 구매 전환 order / impression 즉, CVR 확인 4)-6) 지표는 UU(Unique User) 기준7) 추천 알고리즘 품질 지표 7-1 : precision : 정확도, 추천 TOP K 중 실제 유저가 선택한 수 / K 7-2 : Recall : 재현율, 사용자가 좋아했던 것 중 얼마나 맞췄는지? , (추천 Top k 중 실제 선택된 개수) / (유저가 좋아한 전체 개수) 7-3 : NDCG: 랭킹품질, 추천 순서를 맞게 했는지 예를 들어 사용자가 선호하는 1,2,3위 중 3위가 햄버거일때 이것을 1번 순서로 추천하지는 않았는지 와 같은 데이터(negative case)</blockquote>&nbsp;<ul><li>매출로 이어지는 인과 관계 분석을 말씀해주셨는데, 이 지표를 보기 위해서라면 구매 CVR을 보는 것이 더 적절합니다. 검색을 하고 실제로 구매했는가?를 보는 것입니다</li><li>Precision, Recall 지표 잘 생각해주셨는데 이는 알고리즘 지표입니다.</li><li>목표에 따라 제품적인 지표와 알고리즘 지표를 둘 다 생각해볼 수 있으면 좋겠어서 이 문제를 냈습니다.&nbsp;<ul><li>지표는 다 작성해주신 것 같은데 구분을 더 명확하게 해보시면 좋겠습니다. 지표를 마냥 많이 기록한다고 답은 아니라 저기서 핵심 지표가 무엇인지 기록하는 것이 필요할 수 있습니다.&nbsp;</li></ul></li></ul>&nbsp;#6. 여러분들이 자주 사용하는 서비스의 지표 요청사항: 안녕하세요 카일님 저는 ga4 tech 컨설턴트로 N년째 근무하고 이번에 BA로 커리어 전환을 위해 최종면접까지 마치고 결과를 기다리고 있습니다. 이번 면접에서 해당 서비스에서 원하는 것이 분명하게 느껴졌고, 그것은 매출을 데이터 구조화(지표, 매트릭 설계) 가능여부 였습니다.해당 서비스가 B2B에 TAXTECH라는 특이점이 있고 특히 구매 퍼널 형태가 카카오톡에서 사용자가 동의를 하면 국세청 자료를 가져와 세금 환급 여부를 확인하여 결제를 하는 퍼널인데 실제 구매 완료시에는 백엔드쪽에 데이터가 쌓이는 것 같지만 이런식으로 PG사(카카오톡)가 중간단계에 있어 PA툴로 트랙킹이 어려울 경우 어떤식으로 구매 퍼널 분석을 해야할지 애매하더라구요 조언을 구하고 싶습니다.아래 내용은 실제 해당 서비스 URL과 제가 생각한 NSM과 INPUT 메트릭을 정의해봤습니다.(하단 7번문제까지 같은 접근 관점으로 작성) <a target="_blank" rel="noopener noreferrer nofollow" href="https://www.save-tax.co.kr/">https://www.save-tax.co.kr/</a>기업 SMB를 대상으로 한 IT 세무 서비스 SAVETAX.가장 중요한 서비스 지표는 “매출” revenue 이다. 이유는 현재 사업 본부장님과 대표님 모두가 성숙기로 나아가고 있는 서비스에 매출구조를 지표 기반으로 분석하고자 Business analyst를 채용하고 있고, 이 포지션에 지원하여 최종 면접에서 구체적인 니즈를 확인했기 때문.매출은 OUTPUT 매트릭이므로 이것을 좀더 분해 할 수 있는 지표로<ol><li>10회 이상 구매한 VIP 사용자 수</li><li>구매자 리텐션 (지속적인 구매 의지 및 로얄티 확인)</li><li>ARPU (사용자 별 평균 구매 금액)</li></ol>&nbsp;<ul><li>이 문제는 스스로 생각을 해보라는 관점에서 만든거라 다른 회사의 면접 대비용 문제를 물어보라는 의도는 아니긴 합니다. 그래서 직접적인 제 생각보단 아이디어 위주로 드릴게요</li><li>우선 PA 도구로 어려운 제품일 수 있는데, 서버 로그를 찍으면 됩니다. PA 도구는 클라이언트 로그(사용자 관점)인거고 다른 제품과 의존성이 있다면 서버 로그를 찍으면 됩니다. 다른 제품에서 200 신호가 왔을 때 로그 하나 남기는 식으로요.</li><li>지표를 정의할 때, 위에 피드백 때 말씀드린 것과 동일하게 Output Metric과 Input Metric을 나눠서 생각하면 좋습니다.<ul><li>지금 제시한 지표는 모두 Output 지표라서 지표를 구조화하는 관점에서 인상 깊다는 생각이 들지 못할겁니다.</li><li>Input -> Output의 구조를 만들어야 하고 강의에서 메트릭 하이라키 파트를 보는 것도 추천합니다</li></ul></li><li>강의에서 "이 제품이 어떤 문제를 해결하려고 하는가?"를 물어보는데 이 질문부터 해야 합니다. 지금 세금 서비스는 고객의 어떤 문제를 해결해주나요? 그거부터 생각하고 지표를 만들어야 합니다<ul><li>그리고 그거와 관련해서 Output 지표가 있을텐데 그 연결 관계를 보시는게 중요합니다</li><li>이 관점에서 기업이 돈을 어떻게 버는지 비즈니스 모델까지 파악하는게 필요합니다</li></ul></li></ul>&nbsp;#7. 퍼널 개선 프로젝트 위 서비스에서 구매 퍼널 프로 세스 전환율이 20%이고 온보딩을 위한 새로운 기능의 성능 평가를 위한 지표.만약 온보딩 서비스가 웹페이지고 step별로 나눠줘있는 경우라고 가정하면, STEP1부터 STEP5 까지의 퍼널 전환율 지표를 확인 (Unique User 기준)<ul><li>step1_to_step2_CVR = step2 / step1</li><li>step2_to_step3_CVR = step3 / step2</li><li>step3_to_step4_CVR = step3 / step4</li><li>step4_to_step5_CVR = step4 / step5</li><li>step1_to_step5_CVR = step5 / step1</li></ul>온보딩을 완료한 사용자 기준 구매 전환율 확인 지표<ul><li>구매수 / onboarding_comp</li></ul>온보딩을 완료한 사용자의 일별 리텐션 daily 지표&nbsp;<ul><li>저라면 온보딩과 구매는 매우 멀리 떨어졌기 때문에 구매를 고려하는 CVR보단 일단 CTR로 다음 페이지까지 갔는지를 보거나 온보딩을 끝냈는지만 볼 것 같습니다.</li><li>리텐션 지표는 왜 생각하셨나요? 지표 선택을 하면 근거가 있어야 합니다.</li></ul>&nbsp;&nbsp;

4-8. 지표 정의 연습 문제

종삼님 안녕하세요. 현재 팀원분과 같이 강의를 듣는다고 들었습니다.인프런 강의는 한 계정 = 한 명을 전제로 합니다. 강의를 진행하는 제 입장에서도 한 계정으로 여러 사람이 듣는 것은 복합적인 감정이 듭니다.과제 피드백을 하나의 계정으로(여러 명이 듣고) 신청해주셨는데, 8개월 ~ 1년 전에 강의 수강하시며 질문을 많이 해주셨고 이번에 다시 질문이 두개 올라왔네요. 이런 케이스엔 추가로 피드백을 드리기 어려울 것 같습니다.개별로 강의를 신청하시거나 차라리 따로 저와 기업 계약을 하시길 권합니다.&nbsp;읽어주셔서 감사합니다.카일스쿨 드림

Tracking Plan, Taxonomy 문제풀이

안녕하세요! 문제 푸느라 고생하셨어요.로그 설계할 때, 이벤트 파라미터엔 해당 이벤트와 관련된 내용만 기록한다! 이 생각을 해주시면 좋을 것 같아요.&nbsp;<h2 style="text-align: left">로그설계하기연습문제#1. 기능이잘동작하고있는지확인하려면?</h2>📌Event1.메인지표(CTR): 각 컴포넌트 클릭수/ home화면 pv수2.보조지표(CVR):각 컴포넌트 클릭 후 주문한 수 /각 컴포넌트 클릭수로그1<ul><li>event_name:view_home</li><li>trigger: 앱 실행 로딩완료 시점</li><li>parameter:<ul><li>is_login(True/False)&nbsp;</li></ul></li></ul>로그2<ul><li>event_name: click_컴포넌트명( ex)click_banner, click_category)</li><li>trigger: 클라이언트가 각 컴포넌트를 클릭한 시점</li><li>parameter:<ul><li>entry_source( ex,banner,search…)&nbsp;why? 2번문제 분석을 위해 event_name과 별개로 entry_source를 파라미터로 분류&nbsp;</li></ul></li></ul>&nbsp;로그3<ul><li>event_name:click_payment 또는 view_payment_completed</li><li>trigger:클라이언트가 결제버튼 클릭 또는 클라이언트에게 결제완료 화면 response</li><li>parameter:<ul><li>entry_source,</li><li>total_payment,</li><li>food_type</li></ul></li></ul>📌User Property<ul><li>member_grade, demographic 데이터 등등..→segment별 각 기능들의 활성정도를 분석할 수도 있음.</li></ul>&nbsp;&nbsp;is_login이나 entry_source는 해당 이벤트가 발생할 때 생기는 값이 아닙니다. 일단 로그인이란 이벤트가 있었다면 로그아웃을 하지 않았다면 로그인 상태일거고, 로그인이 되어있으면 보통 user_id가 기록되어 있습니다. 그래서 is_login 파라미터는 필요하지 않아요entry_source는 이미 이벤트 name에서 컴포넌트 이름을 기록하기 때문에 필요 없을 것 같아요. 추후에 검색 만족도 지표 같은 문제를 풀 때는 사용할 수도 있지만, 보통 SQL로 직접 데이터를 확인합니다(직전 이벤트에 어떤 것을 클릭했나? 확인해서)&nbsp;&nbsp;<h2 style="text-align: left">로그설계하기연습문제#2. 검색만족도지표</h2>1.메인지표(CTR): search_result 결과 클릭수/ view_search_result화면 pv수2.보조지표(CVR):search_result화면 후 결제 수 /view_search_result 화면 pv수&nbsp;📌 Event로그1<ul><li>event_name:view_search_result</li><li>trigger: 검색결과 페이지 로드완료 시점</li><li>event_parameter:<ul><li>keyword → why? 검색 키워드별 검색 만족도 분석이 가능함.</li><li>is_result_null(True/False) →why? 검색 결과가 없는 경우를 대비함. 대비하지 않을 경우 위에 지표들이 왜곡될 수 있음.</li></ul></li></ul>로그2<ul><li>event_name:click_restaurant</li><li>trigger:클라이언트가 결과(음식점) 클릭</li><li>event_parameter:<ul><li>entry_source&nbsp;(entry_source=’search’)&nbsp;</li></ul></li></ul>로그3<ul><li>event_name:click_payment / view_payment_completed</li><li>trigger:클라이언트가 결제버튼 클릭 /클라이언트에게 결제완료 화면 response</li><li>event_parameter:<ul><li>entry_source&nbsp;(entry_source=’search’)</li></ul></li></ul>***다만 사용자가 검색 후 홈으로 나갔다 다시 들어와 결제할 경우 entry_source 유실될 수가 있음.이를 방지하기 위해 session 단위 분석도 고려해봐야함.&nbsp;이 부분은 entry_source만 생각해보시면 될 것 같고, 이벤트는 일단 잘 생각해주신 것 같아요. 이렇게 시작하시면 되어요!&nbsp;📌 User Property<ul><li>member_grade, demographic 데이터 등등..→segment별 검색기능의 만족정도를 분석할 수도 있음.</li></ul>&nbsp;&nbsp;&nbsp;&nbsp;<h2 style="text-align: left">로그설계하기연습문제#3. 검색필터기능의활성화지표</h2><ol><li>메인지표:</li></ol>필터 사용률 = 필터 적용 검색수 / 전체 검색수<ol start="2"><li>보조지표</li></ol>필터적용 검색율: 필터 적용검색 후 결과 클릭수/ 필터 적용 검색 수필터미적용 검색율:필터 미적용검색 후 결과 클릭수/ 필터 미적용 검색 수위 두 개 지표를 비교&nbsp;📌 Event로그1<ul><li>event_name: apply_search_filer</li><li>trigger: 필터 설정후 ‘적용’ 하는 시점</li><li>event_parameter:<ul><li>use_filter(True)</li><li>filter_type</li><li>filter_value</li></ul></li></ul>로그2<ul><li>event_name:search_restaurant</li><li>trigger: 클라이언트가 검색 API를 request하는 시점</li><li>event_parameter:<ul><li>keyword,</li><li>use_filter (True/False)&nbsp;</li></ul></li></ul>&nbsp;이 부분도 이벤트는 잘 생각해주셨는데, search_restaurant에서 user_filter는 왜 필요할까요? 검색할 때 이전 필터 여부가 꼭 필요할까요? 이 관점을 고민해보셔도 좋을 것 같네요&nbsp;문제 푸느라 고생하셨어요!! 질문 있으면 또 남겨주셔요&nbsp;

6-7 로그설계하기 연습문제 제출/ 피드백 부탁드립니다.!!

안녕하세요. 과제 푸시느라 고생하셨습니다! 피드백 드려볼게요&nbsp;<h3 style="text-align: left"> 지표정의하기연습문제#1. 기능이잘동작하고있는지확인하려면?</h3><blockquote>메인지표-각 컴포넌트별 CTR(클릭률) : 각 컴포넌트별 클릭 수 / home 화면 pageview 수보조지표-각 컴포넌트별 CVR(구매전환율) :각 컴포넌트를 클릭한 후에 구매전환 된 수/ 각 컴포넌트를 클릭한 수 각 컴포넌트별 CTR이 높은경우/낮은 경우, CVR이 높은경우/낮은경우 2x2 경우의수를 모두 조합하여 home화면의 UX/UI 설계에 근거로 활용할 수 있을 것임.</blockquote>&nbsp;<ul><li>CTR, CVR 잘 생각해주셨고, 2x2 경우의 수를 조합하여 근거로 활용할 수 있다고 하셨는데 그거까지 한번 생각해보셔도 좋을 것 같아요!</li><li>의사결정을 어떻게 할지 한번 고민해보는 것이 필요한데 평소에 연습해도 좋아요</li></ul>&nbsp;<h3 style="text-align: left">지표정의하기연습문제#2. 검색만족도지표</h3><blockquote>‘고객이 만족했다’ 의 의미는?검색 기능의 특성상 ‘단순 탐색’보다는 특정메뉴나 브랜드를 사전에 염두에 두고 유입된 유저가 대부분일 것. 따라서 본인이 찾고자 하는 음식점을 발견했을 때 고객은 긍정 경험을 할 것임. 메인지표-주문 전환율 (CVR) : 검색 후 구매 발생 수/ search 화면서 총 검색 수 보조지표-CTR(결과 클릭률) : search_result 화면 결과 클릭 수/ search_result 화면 pageview 수고객이 찾고자 하는 결과 리스트를 잘 반환해주었기 때문에 고객이 결과를 클릭했을 것임.</blockquote>&nbsp;<ul><li>지표는 잘 생각해주셨는데, 누군가 왜 CVR이 메인 지표인가요? 보조 지표 아닌가요? 라고 하면 어떻게 답변하시겠어요?</li><li>고객이 만족했다는 어떻게 정의해야 할까요? 이 문제의 핵심은 고객의 만족을 어떻게 정의하는가?라서 이걸 구체적으로 작성하고 시작해도 좋을 것 같아요</li><li>추가로 검색 만족도 지표는 아래 글 참고해보셔도 좋을 것 같아요. 검색이나 알고리즘 지표는 이미 많이 있을 수 있어요(알고리즘 관점에서)<ul><li><a target="_blank" rel="noopener noreferrer nofollow" href="https://medium.com/naver-dna-tech-blog/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D%EC%9D%84-%ED%99%9C%EC%9A%A9%ED%95%9C-%EA%B2%80%EC%83%89-%ED%92%88%EC%A7%88-%EC%A7%80%ED%91%9C-%EA%B0%9C%EB%B0%9C-sigir23-paper-recap-6090914005a8">https://medium.com/naver-dna-tech-blog/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D%EC%9D%84-%ED%99%9C%EC%9A%A9%ED%95%9C-%EA%B2%80%EC%83%89-%ED%92%88%EC%A7%88-%EC%A7%80%ED%91%9C-%EA%B0%9C%EB%B0%9C-sigir23-paper-recap-6090914005a8</a></li></ul></li></ul>&nbsp;<h3 style="text-align: left">지표정의하기연습문제#3. 검색필터기능의활성화지표</h3><blockquote>메인지표필터 적용률: 필터적용 검색 수 / total 검색한 수보조지표2번과 같이.. 즉 필터기능을 고객 만족도 관점에서 추가 분석해본다면필터 적용 검색 후 결과 클릭 수 / 필터적용 검색 수&필터 미적용 검색 후 결과 클릭 수 / 필터 미적용 검색 수->위 두개를 비교해서 필터 기능이 고객의 요구를 잘 해소하고 있는지 추가 검증도 가능</blockquote>&nbsp;필터 적용률이라고 하셨는데, 전체 검색 수로 보면 유저별로 얼마나 했는지를 파악하기 어렵지 않을까요? 유저가 적용을 했는지 알려고 한다면 필터가 활성화된 페이지에서 필터를 얼마나 클릭했나(필터 종류도 여러가지인데 각각을 모두 포괄해서) 보면 일단 사람들이 얼마나 필터를 건들였는지 알 수 있을 거예요. 그리고 그 후에 필터 적용하는 것이 있겠죠. 그리고 UX 구성에 따라 다르지만 필터 요소 클릭하면 바로 걸리는 곳도 있고 필터 적용을 해야 하는 경우도 있어요. 화면 구성에 따라서도 지표를 다르게 구성할 수도 있어요.&nbsp;<h3 style="text-align: left">지표정의하기연습문제#4. 배달서비스에서가장중요한지표는?</h3><blockquote>배달매출, 즉 지표로는 CVR(구매 전환율)이 가장 중요함. 그 이유는 CVR은 서비스의 수익과 직결되는 지표이고, 고객이 결국 구매로 전환을 했다는 것은 서비스의 주기능(배달)이 궁극적으로 성사된 비율이기 때문임. CVR을 늘리기 위해서는 퍼널 분석을 시행한다. 그 중에서도 결제와 관련된 뒷단인 cart-payment 부분에서 이탈률이 발생하는 지점을 발견한다. 그 후에 문제상황을 MECE하게 쪼개본 뒤에 이에 대한 PAINPOINT를 해결 할 수 있는 기능을 추가 제안</blockquote>이 문제에선 "배달"이란 서비스를 제시한 이유가 있습니다. CVR은 모든 비즈니스에서 통용되는건데, 배달 서비스에서 중요한 지표는 무엇일까요? 배달 서비스의 특징과 비즈니스 모델을 고민해보면 좋겠다는 생각에 낸 문제라 이 힌트를 보고 다시 고민해보셔요.&nbsp;<h3 style="text-align: left">지표정의하기연습문제#5. 추천알고리즘의성능지표</h3><blockquote>메인지표:-추천 상품 클릭률(CTR) : 추천 상품 클릭수/ 추천 상품 노출 수보조지표:-추천상품 구매전환률(CVR) :추천상품 클릭 후 구매발생 수 / 추천상품 클릭 수고객 관점 보조지표추천 상품 구매 기여율: 추천 영역에서 클릭 후 구매한 상품 수 / 전체 구매 상품 수</blockquote>&nbsp;추천 알고리즘 지표 잘 생각해주셨고, 알고리즘 관점의 지표도 있으니 한번 살펴보셔요. Recall, Precision 개념도 알고 있으면 좋아요<a target="_blank" rel="noopener noreferrer nofollow" href="https://lsjsj92.tistory.com/663">https://lsjsj92.tistory.com/663</a>&nbsp;<h3 style="text-align: left">지표정의하기연습문제#6. 여러분들이자주사용하는서비스의지표</h3><blockquote>선정 서비스: 지그재그다른 연령/성별대보다 패션의 민감도와 그에 따른 쇼핑빈도가 높은 집단(20,30대 여성)을 타겟으로 한 쇼핑 플랫폼.메인지표-weekly retention -why?패션 플랫폼은 한 번 구매하고 끝나는 서비스라기보다, 지속적으로 상품을 탐색하고 찜하고 비교하는 흐름이 강함. 따라서 유저가 얼마나 반복적으로 다시 방문하는지가 서비스의 건강도를 가장 잘 보여준다고 생각함.보조지표-신규유저 구매전환율-기존유저 이탈률&nbsp;</blockquote>&nbsp;지그재그 서비스는 왜 사용할까요? 이 질문으로 시작을 해야 합니다. 리텐션은 최종 결과 지표고 지그재그 서비스를 사용하는 사용자들이 어떤 목적으로 이 앱을 킬까?를 생각한 후 지표로 만들어 보세요. 이런 지표가 input metric이고, 리텐션은 output metric이에요!&nbsp;<h3 style="text-align: left">지표정의하기연습문제#7. 퍼널개선프로젝트</h3><blockquote>메인지표 온보딩 가입 전환율=온보딩 완료 후 가입한 수 / 온보딩 완료한 유저 수 보조지표 온보딩 과정 이탈률=온보딩 중도이탈 유저 수/ 온보딩 시작한 유저 수</blockquote>&nbsp;네 지표는 잘 생각해주셨고 이 부분은 AB Test를 실행해서 확인해야 한답니다. 실험 파트도 듣고 이 지표를 다시 고민해보셔요!!고생하셨습니다!

4-8 지표정의 연습문제

건너건너님 안녕하세요! 지금 하나씩 보며 피드백 준비 중이에요. 로그 설계도 제출해주셨는데 곧 피드백 드릴게요! 로그 설계 부분까지 늦어도 다음주 수요일엔 다 할 예정이에요!!조금만 기다려주셔요. 감사합니다.

안녕하세요. 문제 푸시느라 고생하셨습니다!우선 여러 시도를 해주신 점 칭찬드리고 싶어요! 이 레포트를 제 팀원이 제게 가지고 왔다면 어떻게 피드백을 할지 생각하며 의견을 드려봅니다.&nbsp;<ol><li>구체적인 문제 정의를 더 해보시면 좋겠어요. 구체적인 문제 정의가 거의 보이지 않아요. 스킬(시계열 분석 등)이 더 보이는데, 현업에서는 문제 정의를 제대로 하는 것이 제일 중요해요. 스킬(How) 영역은 문제 정의가 어떻게 되느냐에 따라 나오는거라 문제 정의를 하는 것이 중요합니다.</li><li>현재 인사이트라고 해주신 부분을 봤는데, 인사이트보다는 데이터 현황 파악을 해주신 것 같아요. 인사이트라고 하면 단순 데이터 해석을 넘어서 의미를 찾는 과정이 인사이트입니다. 단순히 지표가 이정도 올랐다 -> 데이터 현황 해석이고, 인사이트는 지금 지표가 갑자기 올랐던 부분이 왜 올랐는가? 에 대한 이유를 찾아야 합니다</li><li>아래와 같이 남겨주셨는데</li></ol><blockquote>공휴일·주말 기반 스파이크 효과를 재현하고 이를 일반화할 수 있는 전략 설계가 필요하다(공휴일 효과를 감안하더라도, 전일 대비 4~5배 수준의 결제 증가는 일반적인 캘린더 효과를 초과하는 비정상적 스파이크로 해석 가능)&nbsp;</blockquote>머신러닝에서 일반화, 정규화, 이상치를 제외하는 작업을 많이 하는데 지금 과제의 핵심은 "수요 예측"이 아니라, 이런 상황을 어떻게 진단할 것인가?입니다. 그래서 일반화를 원하는 것이 아닙니다. 실제로 데이터를 보면 전일 대비 4-5배 수준의 결제 증가가 있을 수 있습니다. 이럴 때 이 상황을 비정상적이고 이상치라고 하는 것은 머신러닝의 모델 생성 관점이고, 데이터 분석에서는 이런 케이스가 왜 발생했을까?를 고민해보는 것이 필요합니다. 어떤 이유로 4-5배가 올랐을까, 어떤 검색이 올랐지? 등&nbsp;원래 이걸 더 스스로 찾아보게 하려는 과제인건데, 힌트를 드리자면 저희가 언제 배달을 시키나요? 국민적으로 어떤 이벤트가 발생하면 많은 사람들이 치킨을 시키나요? 이걸 보고 어떤 것을 떠올릴 수 있는데, 현업에서는 이런 것을 스스로 생각해야 합니다.&nbsp;지금 올라갔네 => 어 왜 그러지? (Why So?) => 오 올랐던 케이스들이 대부분 이런 케이스다. => 그럼 이제 무엇을 해야 할까?(So What?) 이 흐름을 가져가는 것이 필요합니다.&nbsp;단순히 쿼리를 실행하고 시각화를 한다고 데이터 분석이 아니고, 이게 왜 발생했지?라는 것을 계속 생각하는 것이 필요합니다. 이런 과정은 논리적 사고 과정인데 데이터 분석과 일을 하는 과정에서 이 역량이 제일 중요합니다. 스킬보다 이런 사고 과정이 핵심 역량이에요. 이 부분에 대한 내용은 제 PM을 위한 데이터 리터러시 강의에서 다루고 있어요. 이 강의를 보시면 어떤 방식으로 생각을 전개해야 하는지 더 이해가 되실 거예요(BigQuery 강의 듣고 리터러시 강의를 들은 분들이 리터러시 강의를 먼저 들었으면 좋았을 것 같다는 후기도 남겨주셨었어요)&nbsp;<a target="_blank" rel="noopener noreferrer nofollow" href="https://inf.run/xJGzh">https://inf.run/xJGzh</a>&nbsp;데이터를 분석하는 과정은 지금처럼 데이터를 보면서 데이터를 해석해보고 => 그 안에서 가설을 만들어야 합니다. 어 이거 왜 이러지? => 그리고 데이터를 또 확인하고 => 오 이것 때문이네! 라고 나오면 이 부분을 인사이트라 부를 수 있습니다. 그리고 이 인사이트를 어떻게 적용해야 우리 지표가 오를까? 고민하는 것이 중요합니다.&nbsp;퍼널 분석을 보니, 퍼널 분석도 데이터를 해석만 하고 구체적인 가설이 보이지 않아요. 데이터를 분석할 땐 특정 집단과 다른 집단을 비교해야 합니다. 지금 인사이트에 써주신 카테고리 탐색 경로 퍼널 분석은 현황 데이터를 해석한 것이고, 더 구체적으로 가려면 "신규 회원의 카테고리 탐색 경로" vs "기존 회원의 카테고리 탐색 경로" 이렇게 데이터를 더 쪼개서 봐야 합니다. 비교를 해야 한다를 기억하시면 좋겠어요.&nbsp;더 나아가서는 검색을 한번이라도 시도한 유저 vs 시도하지 않은 유저의 검색 퍼널 지표가 다른지도 볼 수 있지요. 이렇게 두 집단을 비교하면 "검색을 한번이라도 한 집단이 검색을 하지 않은 집단보다 페이지 전환율이 n%p 더 높다"라고 결론이 나올 수 있는데, 이런 결론은 인사이트라고 부를 수 있을 겁니다. 한단계 더 들어갔기 때문이에요&nbsp;카테고리쪽 가설에서 "가설:&nbsp;카테고리 기반 탐색은 가장 직관적인 discovery 경로로 작동하며,&nbsp;UI 개선 및 추천 알고리즘 고도화 시 전환율과 매출 기여도 증가 가능성이 있다."라고 해주셨는데 가설을 제시했다면 구체적으로 이게 맞다고 볼 수 있는 근거(데이터)가 있어야 합니다. 직관적인 것은 다음 퍼널로 많이 갔기 때문에 그렇게 정의를 했을까요? 직관적이다의 정의는 무엇일까요?데이터를 보고 더 쪼개면 => 개선 방향(Action Item)이 더 구체적으로 될 수 있어요. 이 관점을 꼭 기억하시면 좋겠습니다&nbsp;리텐션 분석에서 신규나 기존 유저를 나눠주셨는데, 단순히 숫자만 제시하는 것이 아니라 신규 유저가 급격한 감소를 했다면 왜 그럴까?를 한번 더 깊게 고민해보셔요.&nbsp;<가설1> 추천 기능이 최소 주문 금액 미충족 상태의 사용자를 보정하여(0 → 1 전환), 결제 가능 상태로 유도함으로써 전체 전환율을 충족 사용자 수준으로 끌어올렸을 가능성이 있다.<가설2> 일부 사용자에게는 쿠폰, 프로모션, 배달 정책 등으로 최소 주문 금액을 충족하지 않아도 결제가 가능한 구조가 존재하여, 0 상태에서도 높은 전환율이 유지되었을 가능성이 있다.&nbsp;위 두 가설은 근거가 부족해서 팀장 관점에서 "가능성이 있다고 했는데 그래서 진짜에요?"라고 말하면 할 말이 없어질 수 있지요. 이 이유가 진짜 맞을까? => 탐색해보기를 계속 해보셔요.&nbsp;분석 방법론보다 문제를 구체적으로 쪼개고, 쪼갠 내용을 보면서 가설을 만드는 연습을 해보셔요. 궁금한 내용이나 이해가 되지 않는 부분이 있다면 남겨주셔요. 고생하셨습니다!

최종 과제 제출

안녕하세요. vscode에 google cloud 확장프로그램이 있을거라 그거로 하시면 되긴 합니다.<a target="_blank" rel="noopener noreferrer nofollow" href="https://docs.cloud.google.com/bigquery/docs/vs-code-extension?hl=ko">https://docs.cloud.google.com/bigquery/docs/vs-code-extension?hl=ko</a>&nbsp;다만 빅쿼리는 콘솔이 아닌 환경에서 할 때 데이터가 안보인다거나 하는 버그를 겪은 적이 있어서 콘솔을 추천합니다. 콘솔에서 해야 루커 스튜디오나 구글 스프레드시트로 바로 보낼 수 있거든요.

vs code

안녕하세요! 압축을 반디집으로 푸셨나요?

수업자료 다운

상우님 안녕하세요! 내용 확인하고 있어요. 꼼꼼하게 보느라 시간이 걸리는데 조만간 피드백 드려볼게요!

kyleschool

Posts