6-7 로그설계하기 연습문제 제출/ 피드백 부탁드립니다.!!

안녕하세요! 문제 푸느라 고생하셨어요.로그 설계할 때, 이벤트 파라미터엔 해당 이벤트와 관련된 내용만 기록한다! 이 생각을 해주시면 좋을 것 같아요. 로그설계하기연습문제#1. 기능이잘동작하고있는지확인하려면?📌Event1.메인지표(CTR): 각 컴포넌트 클릭수/ home화면 pv수2.보조지표(CVR):각 컴포넌트 클릭 후 주문한 수 /각 컴포넌트 클릭수로그1event_name:view_hometrigger: 앱 실행 로딩완료 시점parameter:is_login(True/False) 로그2event_name: click_컴포넌트명( ex)click_banner, click_category)trigger: 클라이언트가 각 컴포넌트를 클릭한 시점parameter:entry_source( ex,banner,search…) why? 2번문제 분석을 위해 event_name과 별개로 entry_source를 파라미터로 분류 로그3event_name:click_payment 또는 view_payment_completedtrigger:클라이언트가 결제버튼 클릭 또는 클라이언트에게 결제완료 화면 responseparameter:entry_source,total_payment,food_type📌User Propertymember_grade, demographic 데이터 등등..→segment별 각 기능들의 활성정도를 분석할 수도 있음. is_login이나 entry_source는 해당 이벤트가 발생할 때 생기는 값이 아닙니다. 일단 로그인이란 이벤트가 있었다면 로그아웃을 하지 않았다면 로그인 상태일거고, 로그인이 되어있으면 보통 user_id가 기록되어 있습니다. 그래서 is_login 파라미터는 필요하지 않아요entry_source는 이미 이벤트 name에서 컴포넌트 이름을 기록하기 때문에 필요 없을 것 같아요. 추후에 검색 만족도 지표 같은 문제를 풀 때는 사용할 수도 있지만, 보통 SQL로 직접 데이터를 확인합니다(직전 이벤트에 어떤 것을 클릭했나? 확인해서) 로그설계하기연습문제#2. 검색만족도지표1.메인지표(CTR): search_result 결과 클릭수/ view_search_result화면 pv수2.보조지표(CVR):search_result화면 후 결제 수 /view_search_result 화면 pv수 📌 Event로그1event_name:view_search_resulttrigger: 검색결과 페이지 로드완료 시점event_parameter:keyword → why? 검색 키워드별 검색 만족도 분석이 가능함.is_result_null(True/False) →why? 검색 결과가 없는 경우를 대비함. 대비하지 않을 경우 위에 지표들이 왜곡될 수 있음.로그2event_name:click_restauranttrigger:클라이언트가 결과(음식점) 클릭event_parameter:entry_source (entry_source=’search’) 로그3event_name:click_payment / view_payment_completedtrigger:클라이언트가 결제버튼 클릭 /클라이언트에게 결제완료 화면 responseevent_parameter:entry_source (entry_source=’search’)***다만 사용자가 검색 후 홈으로 나갔다 다시 들어와 결제할 경우 entry_source 유실될 수가 있음.이를 방지하기 위해 session 단위 분석도 고려해봐야함. 이 부분은 entry_source만 생각해보시면 될 것 같고, 이벤트는 일단 잘 생각해주신 것 같아요. 이렇게 시작하시면 되어요! 📌 User Propertymember_grade, demographic 데이터 등등..→segment별 검색기능의 만족정도를 분석할 수도 있음. 로그설계하기연습문제#3. 검색필터기능의활성화지표메인지표:필터 사용률 = 필터 적용 검색수 / 전체 검색수보조지표필터적용 검색율: 필터 적용검색 후 결과 클릭수/ 필터 적용 검색 수필터미적용 검색율:필터 미적용검색 후 결과 클릭수/ 필터 미적용 검색 수위 두 개 지표를 비교 📌 Event로그1event_name: apply_search_filertrigger: 필터 설정후 ‘적용’ 하는 시점event_parameter:use_filter(True)filter_typefilter_value로그2event_name:search_restauranttrigger: 클라이언트가 검색 API를 request하는 시점event_parameter:keyword,use_filter (True/False) 이 부분도 이벤트는 잘 생각해주셨는데, search_restaurant에서 user_filter는 왜 필요할까요? 검색할 때 이전 필터 여부가 꼭 필요할까요? 이 관점을 고민해보셔도 좋을 것 같네요 문제 푸느라 고생하셨어요!! 질문 있으면 또 남겨주셔요

4-8 지표정의 연습문제

안녕하세요. 과제 푸시느라 고생하셨습니다! 피드백 드려볼게요 지표정의하기연습문제#1. 기능이잘동작하고있는지확인하려면?메인지표-각 컴포넌트별 CTR(클릭률) : 각 컴포넌트별 클릭 수 / home 화면 pageview 수보조지표-각 컴포넌트별 CVR(구매전환율) :각 컴포넌트를 클릭한 후에 구매전환 된 수/ 각 컴포넌트를 클릭한 수각 컴포넌트별 CTR이 높은경우/낮은 경우, CVR이 높은경우/낮은경우 2x2 경우의수를 모두 조합하여 home화면의 UX/UI 설계에 근거로 활용할 수 있을 것임. CTR, CVR 잘 생각해주셨고, 2x2 경우의 수를 조합하여 근거로 활용할 수 있다고 하셨는데 그거까지 한번 생각해보셔도 좋을 것 같아요!의사결정을 어떻게 할지 한번 고민해보는 것이 필요한데 평소에 연습해도 좋아요 지표정의하기연습문제#2. 검색만족도지표‘고객이 만족했다’ 의 의미는?검색 기능의 특성상 ‘단순 탐색’보다는 특정메뉴나 브랜드를 사전에 염두에 두고 유입된 유저가 대부분일 것. 따라서 본인이 찾고자 하는 음식점을 발견했을 때 고객은 긍정 경험을 할 것임.메인지표-주문 전환율 (CVR) : 검색 후 구매 발생 수/ search 화면서 총 검색 수보조지표-CTR(결과 클릭률) : search_result 화면 결과 클릭 수/ search_result 화면 pageview 수고객이 찾고자 하는 결과 리스트를 잘 반환해주었기 때문에 고객이 결과를 클릭했을 것임. 지표는 잘 생각해주셨는데, 누군가 왜 CVR이 메인 지표인가요? 보조 지표 아닌가요? 라고 하면 어떻게 답변하시겠어요?고객이 만족했다는 어떻게 정의해야 할까요? 이 문제의 핵심은 고객의 만족을 어떻게 정의하는가?라서 이걸 구체적으로 작성하고 시작해도 좋을 것 같아요추가로 검색 만족도 지표는 아래 글 참고해보셔도 좋을 것 같아요. 검색이나 알고리즘 지표는 이미 많이 있을 수 있어요(알고리즘 관점에서)https://medium.com/naver-dna-tech-blog/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D%EC%9D%84-%ED%99%9C%EC%9A%A9%ED%95%9C-%EA%B2%80%EC%83%89-%ED%92%88%EC%A7%88-%EC%A7%80%ED%91%9C-%EA%B0%9C%EB%B0%9C-sigir23-paper-recap-6090914005a8 지표정의하기연습문제#3. 검색필터기능의활성화지표메인지표필터 적용률: 필터적용 검색 수 / total 검색한 수보조지표2번과 같이.. 즉 필터기능을 고객 만족도 관점에서 추가 분석해본다면필터 적용 검색 후 결과 클릭 수 / 필터적용 검색 수&필터 미적용 검색 후 결과 클릭 수 / 필터 미적용 검색 수->위 두개를 비교해서 필터 기능이 고객의 요구를 잘 해소하고 있는지 추가 검증도 가능 필터 적용률이라고 하셨는데, 전체 검색 수로 보면 유저별로 얼마나 했는지를 파악하기 어렵지 않을까요? 유저가 적용을 했는지 알려고 한다면 필터가 활성화된 페이지에서 필터를 얼마나 클릭했나(필터 종류도 여러가지인데 각각을 모두 포괄해서) 보면 일단 사람들이 얼마나 필터를 건들였는지 알 수 있을 거예요. 그리고 그 후에 필터 적용하는 것이 있겠죠. 그리고 UX 구성에 따라 다르지만 필터 요소 클릭하면 바로 걸리는 곳도 있고 필터 적용을 해야 하는 경우도 있어요. 화면 구성에 따라서도 지표를 다르게 구성할 수도 있어요. 지표정의하기연습문제#4. 배달서비스에서가장중요한지표는?배달매출, 즉 지표로는 CVR(구매 전환율)이 가장 중요함. 그 이유는 CVR은 서비스의 수익과 직결되는 지표이고, 고객이 결국 구매로 전환을 했다는 것은 서비스의 주기능(배달)이 궁극적으로 성사된 비율이기 때문임.CVR을 늘리기 위해서는 퍼널 분석을 시행한다. 그 중에서도 결제와 관련된 뒷단인 cart-payment 부분에서 이탈률이 발생하는 지점을 발견한다. 그 후에 문제상황을 MECE하게 쪼개본 뒤에 이에 대한 PAINPOINT를 해결 할 수 있는 기능을 추가 제안이 문제에선 "배달"이란 서비스를 제시한 이유가 있습니다. CVR은 모든 비즈니스에서 통용되는건데, 배달 서비스에서 중요한 지표는 무엇일까요? 배달 서비스의 특징과 비즈니스 모델을 고민해보면 좋겠다는 생각에 낸 문제라 이 힌트를 보고 다시 고민해보셔요. 지표정의하기연습문제#5. 추천알고리즘의성능지표메인지표:-추천 상품 클릭률(CTR) : 추천 상품 클릭수/ 추천 상품 노출 수보조지표:-추천상품 구매전환률(CVR) :추천상품 클릭 후 구매발생 수 / 추천상품 클릭 수고객 관점 보조지표추천 상품 구매 기여율: 추천 영역에서 클릭 후 구매한 상품 수 / 전체 구매 상품 수 추천 알고리즘 지표 잘 생각해주셨고, 알고리즘 관점의 지표도 있으니 한번 살펴보셔요. Recall, Precision 개념도 알고 있으면 좋아요https://lsjsj92.tistory.com/663 지표정의하기연습문제#6. 여러분들이자주사용하는서비스의지표선정 서비스: 지그재그다른 연령/성별대보다 패션의 민감도와 그에 따른 쇼핑빈도가 높은 집단(20,30대 여성)을 타겟으로 한 쇼핑 플랫폼.메인지표-weekly retention-why?패션 플랫폼은 한 번 구매하고 끝나는 서비스라기보다, 지속적으로 상품을 탐색하고 찜하고 비교하는 흐름이 강함. 따라서 유저가 얼마나 반복적으로 다시 방문하는지가 서비스의 건강도를 가장 잘 보여준다고 생각함.보조지표-신규유저 구매전환율-기존유저 이탈률 지그재그 서비스는 왜 사용할까요? 이 질문으로 시작을 해야 합니다. 리텐션은 최종 결과 지표고 지그재그 서비스를 사용하는 사용자들이 어떤 목적으로 이 앱을 킬까?를 생각한 후 지표로 만들어 보세요. 이런 지표가 input metric이고, 리텐션은 output metric이에요! 지표정의하기연습문제#7. 퍼널개선프로젝트메인지표온보딩 가입 전환율=온보딩 완료 후 가입한 수 / 온보딩 완료한 유저 수보조지표온보딩 과정 이탈률=온보딩 중도이탈 유저 수/ 온보딩 시작한 유저 수 네 지표는 잘 생각해주셨고 이 부분은 AB Test를 실행해서 확인해야 한답니다. 실험 파트도 듣고 이 지표를 다시 고민해보셔요!!고생하셨습니다!

4-8 지표정의 연습문제

건너건너님 안녕하세요! 지금 하나씩 보며 피드백 준비 중이에요. 로그 설계도 제출해주셨는데 곧 피드백 드릴게요! 로그 설계 부분까지 늦어도 다음주 수요일엔 다 할 예정이에요!!조금만 기다려주셔요. 감사합니다.

최종 과제 제출

안녕하세요. 문제 푸시느라 고생하셨습니다!우선 여러 시도를 해주신 점 칭찬드리고 싶어요! 이 레포트를 제 팀원이 제게 가지고 왔다면 어떻게 피드백을 할지 생각하며 의견을 드려봅니다. 구체적인 문제 정의를 더 해보시면 좋겠어요. 구체적인 문제 정의가 거의 보이지 않아요. 스킬(시계열 분석 등)이 더 보이는데, 현업에서는 문제 정의를 제대로 하는 것이 제일 중요해요. 스킬(How) 영역은 문제 정의가 어떻게 되느냐에 따라 나오는거라 문제 정의를 하는 것이 중요합니다.현재 인사이트라고 해주신 부분을 봤는데, 인사이트보다는 데이터 현황 파악을 해주신 것 같아요. 인사이트라고 하면 단순 데이터 해석을 넘어서 의미를 찾는 과정이 인사이트입니다. 단순히 지표가 이정도 올랐다 -> 데이터 현황 해석이고, 인사이트는 지금 지표가 갑자기 올랐던 부분이 왜 올랐는가? 에 대한 이유를 찾아야 합니다아래와 같이 남겨주셨는데공휴일·주말 기반 스파이크 효과를 재현하고 이를 일반화할 수 있는 전략 설계가 필요하다(공휴일 효과를 감안하더라도, 전일 대비 4~5배 수준의 결제 증가는 일반적인 캘린더 효과를 초과하는 비정상적 스파이크로 해석 가능) 머신러닝에서 일반화, 정규화, 이상치를 제외하는 작업을 많이 하는데 지금 과제의 핵심은 "수요 예측"이 아니라, 이런 상황을 어떻게 진단할 것인가?입니다. 그래서 일반화를 원하는 것이 아닙니다. 실제로 데이터를 보면 전일 대비 4-5배 수준의 결제 증가가 있을 수 있습니다. 이럴 때 이 상황을 비정상적이고 이상치라고 하는 것은 머신러닝의 모델 생성 관점이고, 데이터 분석에서는 이런 케이스가 왜 발생했을까?를 고민해보는 것이 필요합니다. 어떤 이유로 4-5배가 올랐을까, 어떤 검색이 올랐지? 등 원래 이걸 더 스스로 찾아보게 하려는 과제인건데, 힌트를 드리자면 저희가 언제 배달을 시키나요? 국민적으로 어떤 이벤트가 발생하면 많은 사람들이 치킨을 시키나요? 이걸 보고 어떤 것을 떠올릴 수 있는데, 현업에서는 이런 것을 스스로 생각해야 합니다. 지금 올라갔네 => 어 왜 그러지? (Why So?) => 오 올랐던 케이스들이 대부분 이런 케이스다. => 그럼 이제 무엇을 해야 할까?(So What?) 이 흐름을 가져가는 것이 필요합니다. 단순히 쿼리를 실행하고 시각화를 한다고 데이터 분석이 아니고, 이게 왜 발생했지?라는 것을 계속 생각하는 것이 필요합니다. 이런 과정은 논리적 사고 과정인데 데이터 분석과 일을 하는 과정에서 이 역량이 제일 중요합니다. 스킬보다 이런 사고 과정이 핵심 역량이에요. 이 부분에 대한 내용은 제 PM을 위한 데이터 리터러시 강의에서 다루고 있어요. 이 강의를 보시면 어떤 방식으로 생각을 전개해야 하는지 더 이해가 되실 거예요(BigQuery 강의 듣고 리터러시 강의를 들은 분들이 리터러시 강의를 먼저 들었으면 좋았을 것 같다는 후기도 남겨주셨었어요) https://inf.run/xJGzh 데이터를 분석하는 과정은 지금처럼 데이터를 보면서 데이터를 해석해보고 => 그 안에서 가설을 만들어야 합니다. 어 이거 왜 이러지? => 그리고 데이터를 또 확인하고 => 오 이것 때문이네! 라고 나오면 이 부분을 인사이트라 부를 수 있습니다. 그리고 이 인사이트를 어떻게 적용해야 우리 지표가 오를까? 고민하는 것이 중요합니다. 퍼널 분석을 보니, 퍼널 분석도 데이터를 해석만 하고 구체적인 가설이 보이지 않아요. 데이터를 분석할 땐 특정 집단과 다른 집단을 비교해야 합니다. 지금 인사이트에 써주신 카테고리 탐색 경로 퍼널 분석은 현황 데이터를 해석한 것이고, 더 구체적으로 가려면 "신규 회원의 카테고리 탐색 경로" vs "기존 회원의 카테고리 탐색 경로" 이렇게 데이터를 더 쪼개서 봐야 합니다. 비교를 해야 한다를 기억하시면 좋겠어요. 더 나아가서는 검색을 한번이라도 시도한 유저 vs 시도하지 않은 유저의 검색 퍼널 지표가 다른지도 볼 수 있지요. 이렇게 두 집단을 비교하면 "검색을 한번이라도 한 집단이 검색을 하지 않은 집단보다 페이지 전환율이 n%p 더 높다"라고 결론이 나올 수 있는데, 이런 결론은 인사이트라고 부를 수 있을 겁니다. 한단계 더 들어갔기 때문이에요 카테고리쪽 가설에서 "가설: 카테고리 기반 탐색은 가장 직관적인 discovery 경로로 작동하며, UI 개선 및 추천 알고리즘 고도화 시 전환율과 매출 기여도 증가 가능성이 있다."라고 해주셨는데 가설을 제시했다면 구체적으로 이게 맞다고 볼 수 있는 근거(데이터)가 있어야 합니다. 직관적인 것은 다음 퍼널로 많이 갔기 때문에 그렇게 정의를 했을까요? 직관적이다의 정의는 무엇일까요?데이터를 보고 더 쪼개면 => 개선 방향(Action Item)이 더 구체적으로 될 수 있어요. 이 관점을 꼭 기억하시면 좋겠습니다 리텐션 분석에서 신규나 기존 유저를 나눠주셨는데, 단순히 숫자만 제시하는 것이 아니라 신규 유저가 급격한 감소를 했다면 왜 그럴까?를 한번 더 깊게 고민해보셔요. 추천 기능이 최소 주문 금액 미충족 상태의 사용자를 보정하여(0 → 1 전환), 결제 가능 상태로 유도함으로써 전체 전환율을 충족 사용자 수준으로 끌어올렸을 가능성이 있다. 일부 사용자에게는 쿠폰, 프로모션, 배달 정책 등으로 최소 주문 금액을 충족하지 않아도 결제가 가능한 구조가 존재하여, 0 상태에서도 높은 전환율이 유지되었을 가능성이 있다. 위 두 가설은 근거가 부족해서 팀장 관점에서 "가능성이 있다고 했는데 그래서 진짜에요?"라고 말하면 할 말이 없어질 수 있지요. 이 이유가 진짜 맞을까? => 탐색해보기를 계속 해보셔요. 분석 방법론보다 문제를 구체적으로 쪼개고, 쪼갠 내용을 보면서 가설을 만드는 연습을 해보셔요. 궁금한 내용이나 이해가 되지 않는 부분이 있다면 남겨주셔요. 고생하셨습니다!

vs code

안녕하세요. vscode에 google cloud 확장프로그램이 있을거라 그거로 하시면 되긴 합니다.https://docs.cloud.google.com/bigquery/docs/vs-code-extension?hl=ko 다만 빅쿼리는 콘솔이 아닌 환경에서 할 때 데이터가 안보인다거나 하는 버그를 겪은 적이 있어서 콘솔을 추천합니다. 콘솔에서 해야 루커 스튜디오나 구글 스프레드시트로 바로 보낼 수 있거든요.

수업자료 다운

안녕하세요! 압축을 반디집으로 푸셨나요?

최종 과제 제출

상우님 안녕하세요! 내용 확인하고 있어요. 꼼꼼하게 보느라 시간이 걸리는데 조만간 피드백 드려볼게요!

질문있습니다!

안녕하세요. 회사마다 다양한 방식으로 할텐데해당 프로젝트를 통해 얼마나 임팩트를 가지고 올 수 있을지 추산하는 과정을 거칩니다. 예를 들어 특정 페이지에 접속하는 유저(특정 기능을 사용한 유저)가 100명이고, 그 중 30%만 구매하는데, 그 유저들의 평균 구매 금액이 3만원이다. 이런 상황에 70%에게 더 판매를 할 수 있는 기능을 만들면 얼마의 임팩트를 줄 수 있다 등으로 계산할 수 있어요(실제론 더 복잡하게 계산할 수 있는데 간단하게 설명드린거라고 보시면 됩니다) ICE 방법론이라고 Impact, Confidence, Ease 로 분류해서 각 Task가 몇점인지 파악하는 방법도 존재합니다. 이것은 방법론이 중요한 것이 아니라 조직 내에서 어떤 것을 먼저 할 지 의사결정하는 기준이 필요한 것이라고 생각해주시면 될 것 같네요 회사의 전략 상황에서 먼저 하면 좋은 것들은 먼저 할 수도 있고, 어떤 회사는 탑다운으로 위에서 시키는 것을 해야하는 경우도 있고, 어떤 회사는 바텀업으로 할 일을 공유해서 하는 회사도 있을 거예요. 회사의 방향성과 문화에 따라서도 달라서 정해진 부분은 없는 것 같아요 저는 현재 회사의 전략에 부합하는 것들 위주로 하고, 현재 전사 목표가 매출 증진이면 매출을 증진하는 것들을 먼저 해봅니다. 그 과정에서 걸리는 시간도 파악하고, 예상 임팩트도 계산해서 시간 대비 임팩트가 큰 것부터 진행하곤 합니다. 추정을 하는 것은 아래 영상의 페르미 추정 부분을 살펴보시면 도움이 될 거예요https://www.youtube.com/watch?v=axZLFQjrFKM

1-2. 제품(Product) 화면이 안보여요

검정화면이 뜨는 것은 녹화 프로그램이 감지된 경우에 뜬다고 해요. 참고해주셔요

쿼리 화면 문의

안녕하세요. 강의 자료에 모든 쿼리문을 올려두었어요!https://inf.run/VxSrg 지금 모바일에서 시청하고 계실까요?