Hỏi & Đáp
Weekly Retention 과제 작성하였습니다.
자유님 안녕하세요! 쿼리는 잘 작성해주셨고, 이제 쿼리 결과 데이터를 보면서 해석하는 연습까지 해보셔요!!!
- Lượt thích
- 0
- Số bình luận
- 2
- Lượt xem
- 12
Hỏi & Đáp
자유님 안녕하세요! 쿼리는 잘 작성해주셨고, 이제 쿼리 결과 데이터를 보면서 해석하는 연습까지 해보셔요!!!
Hỏi & Đáp
오 네 쿼리 너무 잘 짜셔서 수정할 내용은 딱히 없네요. 잘 작성해주셨습니다!! 리텐션 그래프 해석하는 것도 잘하고 계셔서, 데이터에서 컬럼이 추가되는 그 흐름을 이제 익히셨길 바랄게요!!!
Hỏi & Đáp
Kay님 안녕하세요! 해석 고민을 해보고 계시는군요. 제가 말한 내용을 이렇게 다른 관점으로 생각해보는 것 매우 좋아요. 이러면서 생각하는 논리력이 좋아지고 계실 거예요. 말씀해주신 것을 다시 보니, 제가 22-10-03이라고 했는데 22-10-03의 우측의 0.11부터 올라가고 있다라고 표현하는게 더 맞을 것 같네요. 이걸 보면 22-10-10이구요. 강의 자료랑 말을 할 때 부연 설명을 하지 않아서 헷갈리셨을 수 있을 것 같네요. 말씀해주셔서 감사합니다! Kay님이 말씀하신 것이 맞고(제 의도도 동일했어요) 지금 강의 자료에선 1주일씩 +7을 해야 오해를 방지할 수 있을 것 같네요. 이렇게 데이터 보면서 진짜 맞나? 생각해보셔요! 끝까지 완강해보시지요
Hỏi & Đáp
안녕하세요! 피벗 쿼리 잘 작성해주셨어요 다만 지금 event_parameter에 여러가지 파라미터가 있는데 2개만 UNNEST하셨네요. 다른 파라미터도 모두 UNNEST하시면 좋을 것 같아요!(물론 지금 퍼널 쿼리에서는 전혀 문제가 없고, 범용적으로 쓰기 위해 권하는 내용이에요!)
Hỏi & Đáp
지민님 안녕하세요! 앱의 경우 활동하다가 백그라운드(홈)으로 이동하고 다시 앱으로 활성화하는 경우 이 경우는 OS의 홈을 의미합니다. iOS나 안드로이드나 홈화면이 있는데, 홈 화면으로 가면 앱들이 백그라운드에서 살아 있고, 그 상태를 의미합니다. 앱의 메인이 아닙니다. 홈 화면은 다음과 같습니다(참고 링크 : https://support.apple.com/ko-kr/guide/iphone/iph385473442/ios )
Hỏi & Đáp
꿈이 있는 자유님 안녕하세요! 어떤 강의를 보셨나요? 초보자를 위한 BigQuery 입문 강의는 현재 무료 상태입니다..!! https://inf.run/S5q5F
Hỏi & Đáp
일호님 안녕하세요!! 공부 파이팅입니다!!! 제 유튜브에 커리어 관련 내용도 있으니 살펴보셔요 http://youtube.com/@kyleschool/
Hỏi & Đáp
지민님 파이팅이에요!!!!! 끝까지 듣고 깨달음을 얻을 수 있으면 좋겠네요!
Hỏi & Đáp
안녕하세요. 과제 푸시느라 고생하셨습니다! 이전 답변에 제가 조금 더 상대방이 이해하게 되도록 작성해보면 좋겠다고 말씀드렸는데 이 과제를 수정해서 공유해보면 어떨까요? 지금 느낌은 "로그 설계에 대한 전문성이 있는 것 같으신데, 다른 사람에게 전달할 때는 자신만의 언어로 쓰는 느낌입니다" 이런 느낌이 과제에서 있는데, 만약 면접에서도 비슷하게 하신다면 상대방이 잘 이해를 못할 가능성이 있을 것 같습니다. 쉼표도 밑에 있고 구조가 좀 덜 정돈되어서 이걸 정돈하는 것을 해보시는 것이 어떨까 싶어요. 그리고 GTM 관점으로 말씀해주셨는데, 너무 GTM 의존성이 크게 생각하는 것보단 강의에서 나온 것 위주로 좀 더 하이레벨로 생각해보시는 것을 추천드려요. GTM을 안쓰는 회사도 있을거고(Amplitude 등) 그 관점에서 어떻게 로그 설계를 전달할지 보는 것도 유의미할거라 생각해요. 추가 질문은 강의를 다 수강하시고 코칭에서 해결하시는 것이 좋을 것 같아요. 짧은 내용으로 맥락을 다 알긴 어렵거든요(N년차라고 해주셨는데 이게 2년차인지 10년차인지에 따라 전략도 다를거구요). 먼저 말씀드릴 수 있는 부분은 지금 분석을 통한 액션 아이템을 발굴한 적이 없다고 말씀하시는건데, 그런 경우는 학위가 문제가 아니라 진짜 경험을 해야 합니다. 분석한 케이스를 만드는게 본질이지 학위나 다른 스킬로 어필 등이 본질은 아닌 것 같아요. 저는 작게라도 서비스를 만들고 그 지표를 상승시키는 경험을 하라고 권합니다. 이게 시간이 걸리는 일이긴 하지만 한번 하면 PM 관점도 익힐 수 있고, 개발은 AI에게 시키면 됩니다 https://youtu.be/oeC8yQXjaBg?si=RMKSpKe7sDSwRi9e 위 영상을 한번 보시고 고정 댓글도 살펴보시는 것을 추천합니다. 2년 전이지만 동일하게 말하고 있고, 실제로 웹을 간단하게 만들어서 배포하고 지표를 올린 경험을 한 분들은 좋은 곳에 가셨습니다. 시간이 걸리는 일이지만 가치 있는 경험을 만드는 방법이라 생각합니다.
Hỏi & Đáp
Ray Kim님 안녕하세요. 문제 푸느라 고생하셨습니다 작성해주신 내용을 보고 처음 든 생각을 먼저 말씀드릴게요 핵심을 파악하기까지 시간이 오래 걸립니다. 작성해주신 내용이 꽤 있는데, 그래서 핵심이 뭔지 바로 보이지 않습니다. 이 문장들을 보는 사람이 인지적으로 생각을 많이 해야 합니다. 핵심적인 내용을 잘 전달하는 형식으로 작성해보시면 좋을 것 같습니다. 내용은 잘 작성해주셨는데 조금만 더 수정을 해보면 좋을 것 같습니다. 작성해주신 내용 #1. 기능이 잘 동작하고 있는지 확인하려면 각 영역 별 사용자의 인터랙션 및 관심도를 확인하기 위한 콘텐츠 별 CTR 확인 전제 조건으로 각 앱 카테고리 요소(배너영역, 메뉴카테고리, etc) 영역이 픽셀기준 사용자에게 노출되면 contents_impression이라는 이벤트가 발생하고 하위 파라미터로 location 디멘젼에 {{카테고리명}}이 적재. 또한, 사용자가 그 세부 콘텐츠를 클릭 시에 contents_click이라는 이벤트가 발생하고 하위 파라미터로 location 디멘젼에 {{카테고리명}} 및 클릭된 콘텐츠의 {{콘텐츠명}}을 click_text로 저장 따라서 contents_impression / contents_click 으로 CTR을 구하고 디멘젼 location과 click_text를 활용하여 사용자 별로 고관여 콘텐츠와 저관여 콘텐츠를 확인하여 해당 데이터를 기반으로 고도화 작업을 진행한다. 저라면 목적 : 각 영역 별 사용자의 인터랙션 및 관심도를 확인하기 위한 콘텐츠 별 CTR 확인 지표 : CTR(contents_impression / contents_click) 지표 정의 근거 : 의사 결정 기준 어떻게 의사 결정을 할 것인지 작성 이 부분은 로그 설게가 아니라 "지표 정의"입니다. 따라서 지표를 어떻게 정의했는지가 핵심입니다. 지금은 로그 설계까지 내용을 포함해서 본질적인 부분이 덜 보입니다. 로그 설계를 추가하고 싶다면 전제보다는 아래쪽에 로그 설계라고 따로 뺄 것 같습니다 로그 설계 contents_impression 이벤트 각 앱 카테고리 요소가 사용자에게 노출시 파라미터 location contents_click 이벤트 세부 콘텐츠 클릭시 발생 자세한 예시는 Tracking Plan 참고 위와 같이 전반적으로 정리해보시는 것을 추천합니다. 과제 작성을 하시는 패턴과 이력서, 포트폴리오도 비슷할 수 있더라구요. 그럼 형태는 차치하고 지표에 대한 피드백을 드리면 #1. 기능이 잘 동작하고 있는지 확인하려면 각 영역 별 사용자의 인터랙션 및 관심도를 확인하기 위한 콘텐츠 별 CTR 확인 전제 조건으로 각 앱 카테고리 요소(배너영역, 메뉴카테고리, etc) 영역이 픽셀기준 사용자에게 노출되면 contents_impression이라는 이벤트가 발생하고 하위 파라미터로 location 디멘젼에 {{카테고리명}}이 적재. 또한, 사용자가 그 세부 콘텐츠를 클릭 시에 contents_click이라는 이벤트가 발생하고 하위 파라미터로 location 디멘젼에 {{카테고리명}} 및 클릭된 콘텐츠의 {{콘텐츠명}}을 click_text로 저장 따라서 contents_impression / contents_click 으로 CTR을 구하고 디멘젼 location과 click_text를 활용하여 사용자 별로 고관여 콘텐츠와 저관여 콘텐츠를 확인하여 해당 데이터를 기반으로 고도화 작업을 진행한다. 이 부분에선 왜 이 지표인지?를 명확히 써주시고 지표가 바뀌면 어떻게 의사결정을 할 것인지까지 써주는 것을 추천합니다 지표는 명확하게 지표 : XXX 이렇게 쓰는 것이 잘 보일 겁니다. CTR로 선택하신 것은 좋습니다 #2. 검색 만족도 지표 먼저 사용자가 검색을 완료하면 search_comp라는 이벤트가 발생하도록 설계 및 검색 완료 페이지에서 해당 상품카드를 클릭시 search_contents_click이벤트가 발생하도록 이벤트 태깅을 한다. 이후 적재된 데이터를 기반으로 search_contents_click / search_comp 비율을 계산. 이후 사용자 디멘젼 active user기준으로 해당 비율을 보게되면 만약 해당 값이 1에 가까울 경우 한번 검색후 바로 상품을 클릭했으므로 비교적 검색 기능이 원활하게 작동했다고 볼 수 있지만, 반대로 낮은 경우 클릭까지 도달하기위해 여러번 검색을 반복했다는 뜻이 되므로 수정보완이 필요하다고 해석이 가능함. search_contents_click / search_comp 비율이라는 것을 단어로 표현해야 합니다. 결국 검색 클릭률으로 보이는데, 단어만 더 명시적으로 보이면 좋을 것 같습니다 검색 알고리즘에서는 검색이 제대로 나오는지도 중요합니다. 만약 검색 결과가 3개만 나온 경우랑 20개 나온 경우랑 클릭률이 같아도 의미는 달라집니다 이런 맥락에서 알고리즘 지표도 봐야 합니다. 아래 글을 참고해보세요 https://medium.com/naver-dna-tech-blog/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D%EC%9D%84-%ED%99%9C%EC%9A%A9%ED%95%9C-%EA%B2%80%EC%83%89-%ED%92%88%EC%A7%88-%EC%A7%80%ED%91%9C-%EA%B0%9C%EB%B0%9C-sigir23-paper-recap-6090914005a8 추가로 comp가 뭐지?라는 생각이 들었어요. completion의 약자인 것 같은데 로그 설계에서 축약어라면 어떤 단어의 축약인지 처음 써주는 것을 추천합니다 #3. 검색 필터 기능의 활성화 지표 검색 필터의 기능별 활성화 정도를 파악하기 위하여 이벤트 "search_filter_click"를 정의. 트리거 조건은 필터 영역 최상단 요소를 트리거 엘리먼트로 지정하여 하위 요소를 클릭시 이벤트 발생. 하위 디멘전으로 click_text를 수집하여 어떤 필터 요소를 사람들이 많이 사용하는지 그리고 각 필터 카테고리를 filter_category라는 파라미터를 붙여 수집하여 어떤 세부 필터 기능을 상위 카테고리에서 많이 사용하고 덜 사용하는지 데이터 기반으로 확인 가능. 즉, search_filter_click 이벤트 + filter_category + click_text를 event cnt 및 active user 기준으로 확인하여 활성화 상태를 확인. search_filter_click 이벤트 + filter_category + click_text를 event cnt 및 active user 기준으로 확인라고 해주셨는데 이 문장이 잘 이해가 안되네요. 앞엔 필터 클릭 이벤트고 뒤엔 필터 카테고리에 클릭 텍스트인가요? 이게 문장은 긴데 정확하게 무엇인지 이해가 잘 안갑니다. 이런 경우라면 부가적으로 설명을 추가를 하거나 명시적으로 설명하는 것이 필요합니다. #4. 배달 서비스에서 가장 중요한 지표는? "구매 사용자의 리텐션" 1) 첫번째 이유는 배달서비스의 경우 사용주기가 짧은 서비스라고 생각하며, 최초 구매 시점 이후로 반복적으로 플랫폼에서 주문을 해주는 것이 비지니스 차원에서 가장 바람직한 상황이라고 생각한다. 2) 리텐션 증가를 위해서는 서비스 핵심 퍼널 분석을 통해서 어느 구간에서 사용자가 이탈하는지를 확인하여 추가적인 세그먼트 분석 및 기능 개선을 위한 A/B테스트를 진행 및 반영하여 서비스 고도화를 통해 이탈률을 개선한다. "배달 서비스"라고 명시한 이유가 있습니다. 지금 리텐션 지표를 제시했는데 리텐션 지표는 Output 지표입니다. 서비스의 핵심 지표가 무엇이냐?라는 질문에 DAU, 리텐션, 매출을 제시할 수 있고 중요한 것은 맞지만 저는 Input Metric을 제시하는 사람이 데이터를 잘 보는 사람이라 생각합니다. Input Metric이 늘어나면 Output Metric도 개선이 될 거라서요. 그래서 지금은 배달 서비스의 비즈니스 모델에 대해 고민해보시고 다시 지표를 골라보시면 좋겠습니다. 리텐션에 써주신 부분은 다른 서비스에서 써도 그대로 적용이 되는데, 그러면 Specific한 지표는 아닐 가능성이 큽니다. #5. 추천 알고리즘의 성능 지표 가장 중요한 것은 추천 알고리즘에 영향을 받은 사용자가 매출로 이어지는 인과관계 분석 1) 추천 기반 매출 비중이 어느정도 되는지? 2) ARPU (사용자 별 평균 구매 금액) 3) AOV(평균 구매 금액) 4) 추천 영역 별 노출 대비 클릭 CTR 지표 5) 클릭 이후 실제 주문으로 이어지는지 recomm_cart_to_order_CVR 지표 확인 "order / add_to_cart" 구매 및 장바구니 이벤트가 존재한다고 가정하고 생각함. 6) END TO END 지표 노출부터 실제 구매 전환 order / impression 즉, CVR 확인 4)-6) 지표는 UU(Unique User) 기준 7) 추천 알고리즘 품질 지표 7-1 : precision : 정확도 , 추천 TOP K 중 실제 유저가 선택한 수 / K 7-2 : Recall : 재현율, 사용자가 좋아했던 것 중 얼마나 맞췄는지? , (추천 Top k 중 실제 선택된 개수) / (유저가 좋아한 전체 개수) 7-3 : NDCG: 랭킹품질, 추천 순서를 맞게 했는지 예를 들어 사용자가 선호하는 1,2,3위 중 3위가 햄버거일때 이것을 1번 순서로 추천하지는 않았는지 와 같은 데이터(negative case) 매출로 이어지는 인과 관계 분석을 말씀해주셨는데, 이 지표를 보기 위해서라면 구매 CVR을 보는 것이 더 적절합니다. 검색을 하고 실제로 구매했는가?를 보는 것입니다 Precision, Recall 지표 잘 생각해주셨는데 이는 알고리즘 지표입니다. 목표에 따라 제품적인 지표와 알고리즘 지표를 둘 다 생각해볼 수 있으면 좋겠어서 이 문제를 냈습니다. 지표는 다 작성해주신 것 같은데 구분을 더 명확하게 해보시면 좋겠습니다. 지표를 마냥 많이 기록한다고 답은 아니라 저기서 핵심 지표가 무엇인지 기록하는 것이 필요할 수 있습니다. #6. 여러분들이 자주 사용하는 서비스의 지표 요청사항: 안녕하세요 카일님 저는 ga4 tech 컨설턴트로 N년째 근무하고 이번에 BA로 커리어 전환을 위해 최종면접까지 마치고 결과를 기다리고 있습니다. 이번 면접에서 해당 서비스에서 원하는 것이 분명하게 느껴졌고, 그것은 매출을 데이터 구조화(지표, 매트릭 설계) 가능여부 였습니다. 해당 서비스가 B2B에 TAXTECH라는 특이점이 있고 특히 구매 퍼널 형태가 카카오톡에서 사용자가 동의를 하면 국세청 자료를 가져와 세금 환급 여부를 확인하여 결제를 하는 퍼널인데 실제 구매 완료시에는 백엔드쪽에 데이터가 쌓이는 것 같지만 이런식으로 PG사(카카오톡)가 중간단계에 있어 PA툴로 트랙킹이 어려울 경우 어떤식으로 구매 퍼널 분석을 해야할지 애매하더라구요 조언을 구하고 싶습니다. 아래 내용은 실제 해당 서비스 URL과 제가 생각한 NSM과 INPUT 메트릭을 정의해봤습니다.(하단 7번문제까지 같은 접근 관점으로 작성) https://www.save-tax.co.kr/ 기업 SMB를 대상으로 한 IT 세무 서비스 SAVETAX. 가장 중요한 서비스 지표는 “매출” revenue 이다. 이유는 현재 사업 본부장님과 대표님 모두가 성숙기로 나아가고 있는 서비스에 매출구조를 지표 기반으로 분석하고자 Business analyst를 채용하고 있고, 이 포지션에 지원하여 최종 면접에서 구체적인 니즈를 확인했기 때문. 매출은 OUTPUT 매트릭이므로 이것을 좀더 분해 할 수 있는 지표로 10회 이상 구매한 VIP 사용자 수 구매자 리텐션 (지속적인 구매 의지 및 로얄티 확인) ARPU (사용자 별 평균 구매 금액) 이 문제는 스스로 생각을 해보라는 관점에서 만든거라 다른 회사의 면접 대비용 문제를 물어보라는 의도는 아니긴 합니다. 그래서 직접적인 제 생각보단 아이디어 위주로 드릴게요 우선 PA 도구로 어려운 제품일 수 있는데, 서버 로그를 찍으면 됩니다. PA 도구는 클라이언트 로그(사용자 관점)인거고 다른 제품과 의존성이 있다면 서버 로그를 찍으면 됩니다. 다른 제품에서 200 신호가 왔을 때 로그 하나 남기는 식으로요. 지표를 정의할 때, 위에 피드백 때 말씀드린 것과 동일하게 Output Metric과 Input Metric을 나눠서 생각하면 좋습니다. 지금 제시한 지표는 모두 Output 지표라서 지표를 구조화하는 관점에서 인상 깊다는 생각이 들지 못할겁니다. Input -> Output의 구조를 만들어야 하고 강의에서 메트릭 하이라키 파트를 보는 것도 추천합니다 강의에서 "이 제품이 어떤 문제를 해결하려고 하는가?"를 물어보는데 이 질문부터 해야 합니다. 지금 세금 서비스는 고객의 어떤 문제를 해결해주나요? 그거부터 생각하고 지표를 만들어야 합니다 그리고 그거와 관련해서 Output 지표가 있을텐데 그 연결 관계를 보시는게 중요합니다 이 관점에서 기업이 돈을 어떻게 버는지 비즈니스 모델까지 파악하는게 필요합니다 #7. 퍼널 개선 프로젝트 위 서비스에서 구매 퍼널 프로 세스 전환율이 20%이고 온보딩을 위한 새로운 기능의 성능 평가를 위한 지표. 만약 온보딩 서비스가 웹페이지고 step별로 나눠줘있는 경우라고 가정하면, STEP1부터 STEP5 까지의 퍼널 전환율 지표를 확인 (Unique User 기준) step1_to_step2_CVR = step2 / step1 step2_to_step3_CVR = step3 / step2 step3_to_step4_CVR = step3 / step4 step4_to_step5_CVR = step4 / step5 step1_to_step5_CVR = step5 / step1 온보딩을 완료한 사용자 기준 구매 전환율 확인 지표 구매수 / onboarding_comp 온보딩을 완료한 사용자의 일별 리텐션 daily 지표 저라면 온보딩과 구매는 매우 멀리 떨어졌기 때문에 구매를 고려하는 CVR보단 일단 CTR로 다음 페이지까지 갔는지를 보거나 온보딩을 끝냈는지만 볼 것 같습니다. 리텐션 지표는 왜 생각하셨나요? 지표 선택을 하면 근거가 있어야 합니다.