4-8 지표 정의 연습 문제 풀어봤습니다.

준혁님 안녕하세요. 문제 푸시느라 고생하셨어요. 하나 하나에 대해 말씀드릴게요 1. 기능별 사용도 측정 지표여기서 여러 지표를 제시해주셨는데, 지표를 사용할 때는 여러 지표를 나열하는 것보다 제일 중요하게 볼 Focus 지표는 뭐고, 그 다음에 볼 Secondary 지표는 뭐다 이런 식으로 해주시면 더 좋아요.왜냐하면 지금 지표들이 많아서 어떤 것들이 더 중요하게 볼지가 나타나지 않기 때문이에요또한 CTR, CVR 에 대해서는 분자와 분모를 항상 명시해주시는 것을 추천드려요. 각 기능이 얼마나 주목을 끌었는지라고 되어있는데, 그럼 누군가는 주목을 끌었다의 정의가 무엇이죠? 라고 물어볼 수 있어요. 이 때 구체적으로 해주시는 것이 더 좋아요시간대별 클릭/전환 분석에서 전환이 무엇인지도 명시를 해주시는게 좋아요. 질문이 나올거라서개인화 추천 정확도의 지표도 분자와 분모로 해보시면 좋을 것 같아요로컬 기반의 추천 신뢰도에서 신뢰도 정의도 물어볼 것 같네요 위 지표에 이어서 그럼 이 지표들이 올라가거나 상승하면 어떻게 의사결정을 할지도 생각해보시면 좋을 것 같아요 2. 검색 기능 만족도 지표2번의 경우엔 검색이나 추천 알고리즘엔 이미 지표가 있어서 살펴보시면 좋을 것 같다는 의도로 낸 문제에요회사에선 CTR, CVR을 많이 사용하곤 하네요재검색률의 경우 다시 검색할수록 만족도가 낮다고 볼 수도 있지만, 메뉴를 탐색하는 과정일 수도 있어요. 예를 들어 양념 치킨 -> 후라이드 치킨일 때는 만족도가 낮다기 보다는 선호가 있어서 찾는 과정이니깐요. 그래서 해석이 상황에 따라 다를 것 같아요정확도 기반 평가가 검색 알고리즘에 이미 지표화가 되어있는데 아래 글을 참고해보시면 좋을 것 같아요https://medium.com/naver-dna-tech-blog/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D%EC%9D%84-%ED%99%9C%EC%9A%A9%ED%95%9C-%EA%B2%80%EC%83%89-%ED%92%88%EC%A7%88-%EC%A7%80%ED%91%9C-%EA%B0%9C%EB%B0%9C-sigir23-paper-recap-6090914005a8 3. 검색 필터 기능 성과 지표말씀해주신 지표들을 다 사용할 수 있을 것 같아요. 다만 여기서 필터에 세부 속성이 여러가지가 있어요. 세부 속성별로 많이 쓰는 것이 무엇인지 알아봐야 한다면 어떻게 데이터를 보시겠어요?그리고 특정 세부 속성이 압도적으로 지표가 높다면 어떻게 해석하시겠어요? 4. 배달 서비스에서 가장 중요한 지표말씀하신 지표들에서 제일 중요한 지표는 무엇일까요? 지표에 대해 떠올리는 것은 다 잘하셔서 추가적으로 질문드려요이런 문제에서는 비즈니스 모델에 기반해서 지표를 만들면 도움이 됩니다https://lumosbusiness.com/business-model-canvas-food-delivery-apps/https://www.excellentwebworld.com/food-delivery-business-model/위 링크들을 보시면서 비즈니스의 핵심을 기반으로 지표를 만드시면 되어요말씀하신 주문 건수, 가맹점 가입률이 각각 수요 사이드, 공급(가게) 사이드고 추가적으로 배달 라이더의 수도 중요합니다. 배달을 할 사람들이 있어야 하니깐요 5. 추천 알고리즘 성능 지표말씀해주신 내용들이 대부분 추천 알고리즘에서 나오는 지표들이에요. 알고리즘 개발할 때 사용하는 지표들을 찾아보시고 명칭도 알아두시면 좋을 것 같아요https://sungkee-book.tistory.com/11 6. 여러분들이 자주 사용하는 서비스의 지표서비스 1: 똑똑보카 (영어 학습 + 앱테크 서비스)말씀해주신 중요한 지표는 Output 지표(매출) 앞단에 있는 광고 클릭률로 해주신 것 같아요저라면 매출 관점에서 중요한 지표는 광고 클릭률이라고 하고, 제품 자체에서 중요한 것은 영어 학습쪽에서 만들 것 같아요. 서비스가 생긴 이유가 무엇인지 생각해보면 고객들이 영어를 잘 학습하게 만드는 것이 목표였으니까, 이 목표를 해결하는 것이 중요하다 생각해요(제품 관점)추가로 확인해야 할 지표에 연속 학습률이 제품 관점에서 고객의 문제를 해결하고 있느냐?라고 볼 수 있을 것 같고, 지속적 학습에 대해 떠올린 것도 좋네요. 요거를 대시보드나 숫자로 볼 때 어떻게 볼까? 고민해보면 좋을 것 같아요. 며칠 연속으로 참여했는가는 N일에 대한 정보가 포함되는데, 그럼 1일, 2일, 3일, 4일,... 1000일차 학습률을 다 봐야할까요? 이게 데이터 포인트가 많아진다면 어떻게 해야할까요? 한번 생각해보셔도 좋을 것 같네요서비스 2: 유튜브 (유튜브 프리미엄으로 생각해보기)이 부분도 매출 관점으로 생각을 하셨는데, 이 서비스가 왜 생겼는가 관점으로 먼저 고민해보시면 좋겠어요. 왜냐하면 매출 관점의 지표는 명확할 수 있거든요. 그래서 제품 관점의 핵심 지표를 고민해보시면 좋겠어요. 유튜브라고 하면 얼마나 사람들이 영상을 보고 있는가? 이거에 따라 프리미엄 가입률, 광고 수익률 모두 연관이 있을 것 같아요 문제 푸시느라 고생하셨습니다! 지표 정의를 분자와 분모로 명확히 하는 것, 그 지표가 올라가거나 내려가면 어떤 의사결정을 할 것인지, 제품이 왜 생겼는지 관점에서 데이터 고민해보기. 이 부분을 챙겨보시면 좋을 것 같아요! 문제 푸시느라 고생하셨습니다!

4-8 지표 정의 연습 문제 풀어봤습니다.

준혁님 안녕하세요. 이번 주에 데이터야놀자 컨퍼런스 발표를 준비하느라 늦어지고 있네요. 기다리고 계실까봐 먼저 말씀드려요. 제출해주신 내용에 대한 피드백은 5일 내로 드릴게요!

A/B Test에 대해 질문드립니다!

종삼님 안녕하세요! 열심히 학습하시다가 질문 남겨주셔서 감사합니다 1번. 사용한 수라고 하면 보통 Unique가 아닌 Total, 중복까지 포함한 방문수를 의미하는 경우가 많습니다. 만약 유저라고 했으면 유저 수라고 했을 거예요. 풀려는 목적에 따라서 유저 수, 전체 수 등을 활용하면 됩니다. 페이지 전환율 계산할 때는 전체 수를 이용해서 구했다고 보시면 될 것 같아요. 토탈을 사용하면 값이 변할 수 있어서 Unique로 보는 것도 가능합니다 1-1. 첫 활동만 고려하는 목적이 있나요? 이런 경우엔 전체 전환의 성과나 사용자 행동 패턴을 이해할 때는 누락되는 부분이 있을 것 같아요. 저는 보통 특정 필터링을 걸지 않은 지표를 먼저 보고(더 거시적 관점) 그 후에 첫 활동만 보는 것으로 나눠서 봅니다. 말씀해주신 내용 중에 일 단위 전환율의 정의가 무엇인지가 구체적이지 않아서 이 부분은 말씀해주시면 좋을 것 같네요(일 단위 구매 전환율을 의미하는지 등) 2번.이 내용에서 앞에서는 단순 클릭 수나 페이지 전환율에 대한 것은 지표에 대한 이야기가 맞을까요? 뒤에는 어떤 것을 실험할 것인지 내용 같아서요(알고리즘 이야기인 것 같구요) AB Test라는 것은 기본적으로 A랑 B를 나눠주는데 서버와 이야기를 해서 이 유저는 A, B다 라고 하는거라 이론적으로 알고리즘도 테스트를 할 수 있긴 합니다. 실제로 머신러닝 알고리즘이나 AI 알고리즘 AB Test는 많이 하고 있습니다. ChatGPT도 사용하다보면 2개가 나와서 뭐가 좋은가요? 물어보는 경우가 있는데 이것도 AB Test 케이스라고 볼 수 있어요. 2-1번. 저는 그로스북으로 UX 관점의 실험만 해봐서 AI 알고리즘 관점으로는 적절한가 고민이 필요할 것 같긴 합니다. 이론적으로는 가능하나, 케이스를 본 적은 없네요. 알고리즘 테스트를 할 정도라면 자체 구축을 고려하는 경우가 조금 더 많았습니다 아래 링크를 보시면 아키텍쳐 관점으로 도움이 될 수 있을 것 같아요. 컨셉만 이해해보셔요. 결국 AB Test란 컨셉은 동일해요https://mercari.github.io/ml-system-design-pattern/QA-patterns/Online-ab-test-pattern/design_ko.html 3번. 그로스북 관련해서는 공식 문서 추천을 했고, 그 외에 실험 관련 글은 data-for-pm 보시면 있어요.https://docs.growthbook.io/https://zzsza.github.io/data-for-pm/experiment/references.html 4번PM으로 활용할 레퍼런스 자료라고 한 적은 없고 강의를 들으신 분들이 참고할 수 있는 자료 중에 제가 좋다고 생각하는 것들을 공유드리곤 합니다. 궁금하신 것이 있다면 또 남겨주셔요!

강의 목적!

종삼님 안녕하세요. 수강 목적 잘 작성해주셔서 감사합니다!앞으로 학습 파이팅입니다!! 궁금한 내용 언제든 물어봐주셔요

수강목적 작성합니다:)

leigh990214님 안녕하세요. 수강 목적 작성해주셔서 감사해요!강의 어떻게 듣고 계실지 궁금하네요. 끝까지 파이팅입니다!!!

1-6 예시 문제 풀이

안녕하세요. food_id라는 값은 click_food 이벤트만 가지고 있는 이벤트 파라미터입니다. 그래서 다른 이벤트에서는 food_id가 NULL이 나오는 것이 맞습니다.SELECT를 할 때 어떤 값이 나올지는 항상 같진 않습니다. 그래서 지금 쿼리를 작성하신 것도 잘 하신거라고 생각하시면 됩니다. 지금 상황에선 WHERE문에 event_name IN ('click_cart', 'click_food')를 추가해서 확인하시면 됩니다. food_id가 모두 다 채워져 있을 거예요. 이 이벤트들은 food_id란 이벤트 파라미터가 있거든요.

battle 스키마 조건 복사 파일이 열리지 않아요.

안녕하세요. DS_store 파일은 데이터가 아닌 맥북에서 압축을 하면서 같이 생기는 파일입니다. 강의에서 진행할 데이터는 csv 데데이터이므로, .DS_store 파일은 그냥 무시해주시면 됩니다 그리고 배틀 스키마는 PDF 파일에 있습니다!

6-7 연습문제 답변

안녕하세요. 연속적으로 과제 풀어주셔서 감사합니다! 로그 설계 잘 해주셔서 제가 추가로 말씀드릴 내용이 없네요. 이전 지표 정의 글에 남긴 내용만 살펴보시면 될 것 같아요. 로그 설계 명확하게 잘 해주셨네요..! 앞으로 학습하시는 것도 계속 응원합니다!!

6-6 질문

안녕하세요. 로그 설계에 대해 이렇게 질문 남겨주셔서 감사해요. 이런 고민 과정이 역량 향상에 도움이 되더라구요. 1번. 우선 page_view에는 보통 페이지에 접근과 관련된 내용만 기록을 합니다. GA/Firebase는 page_view 이벤트에 별도의 파라미터를 넣을 수 없고 자동으로 로그가 남기도 합니다. view_recommend_food 이벤트를 따로 추가한 이유는 page_view는 페이지에 대한 노출이고, 추천 음식은 로딩 중이라 나오지 않을 수 있고, 현재 화면에서는 정확하게 나오진 않지만, 우측으로 스크롤을 옮길 때 나오는 음식들에 대한 view를 따로 찍고 싶어서 이렇게 진행했어요. CTR에서 노출이 중요한 경우에 이렇게 기록을 하는 경우도 있습니다.그러나 목적에 따라서 page_view에 추가를 해야 한다고 하면 추가할 수도 있긴 합니다. 로그 설계라는 것도 정답이 명확히 있는 것이 아닌 목적에 따라 하는 것이 필요하니깐요. 2번. CVR을 계산할 때 click_recommend_food가 발생한 세션과 그 세션 내에서 click_payment가 발생한 세션 수를 측정해도 되지만, 그 방법보단 use_recommend_food가 이해하기 쉽고 쿼리 작성도 수월해서 이렇게 로그를 설계했다고 보시면 될 것 같아요. 인프런 AI 인턴의 답변도 전반적으로 동의가 되기에, 읽어보시는 것을 추천드려요!

6-5 데이터 검증 결과 예시문제

안녕하세요. 쿼리 작성에 정답이 있는 것은 아니고 선호의 영역도 있다고 생각됩니다. 저는 더 자세하고 쪼개고, 다시 보수하기 편한 형태로 만들려고 작성했고 승현님 쿼리도 가능한 쿼리 중 하나라고 생각해요. 이 부분은 맞다 아니다보단 여러가지 방법으로 쿼리를 작성할 수 있다고 생각해주시면 좋을 것 같아요. 저는 COUNTIF를 사용할 때 DISTINCT가 안되어서 따로 계산해서 마지막에 나누는 것을 선호해서 저렇게 작성했다고 보시면 될 것 같아요.