4-8 지표 정의하기 연습 문제 풀이

창희님 안녕하세요! 문제 푸느라 고생하셨습니다. 하나씩 의견을 드려볼게요 1번CTR, CVR 잘 생각해주셨고, 비교를 위한 것이라고 해주신 것도 좋네요지표를 분자 분모로 해주신 것도 좋습니다여기서 이제 의사 결정을 어떻게 할지 한번 생각해보셔도 좋을 것 같아요. CTR이 올라갈 때 CVR이 내려갔다면 어떻게 판단할 것인가?생각 과정은 잘 하신 것 같고, 1번 생각하는데 얼마나 시간을 쓰셨을지 궁금하네요. 시간을 많이 쓰셨다고 생각하면 어떻게 해야 줄일 수 있을까 고민해보셔요 2번잘 생각해주셨고, CVR을 메인 지표로 해주셨는데 CVR이란 퍼널 구조에 따라서 퍼널이 길면 지표가 낮아집니다. 그래서 지표의 변화가 적을 수 있어요. 그래서 이 문제를 위해 CTR을 먼저 보는 경우도 있습니다. 이 관점도 기억해보시면 좋을 것 같아요체류 시간의 경우 다양하게 해석이 되는데 (1)은 납득이 되고 (2)는 결정하는 과정이니까 체류 시간이 길어질 수 밖에 없을 것 같아요. 그렇다고 하면 몇 초가 적절하냐?라는 기준점을 제시하는 것이 필요합니다. 그 기준점을 어떻게 잡을 것인가?도 중요할 것 같구요검색 알고리즘처럼 "알고리즘" 이 붙는다면 보통 사용하는 지표가 어느정도 정해져 있습니다https://www.google.com/search?q=%EA%B2%80%EC%83%89+%EC%95%8C%EA%B3%A0%EB%A6%AC%EC%A6%98+%EC%A7%80%ED%91%9C검색 알고리즘 지표로 검색해서 어떤 식으로 하는지도 살펴보셔요!지금 작성해주신 것은 제품 관점의 지표고, 위에 제가 공유드린 것은 알고리즘 관점의 지표에요. 하나에도 두가지 관점이 있구나 생각해주시면 됩니다 3번네 이건 제가 생각한 것과 같게 생각해주셨어요. 잘하셨습니다 4번4번 문제는 리텐션이나 체류 시간이라고 답하면 저는 아쉬운 답변이라 생각할 것 같은데, 그 이유는 "비즈니스 모델"을 고려해서 지표를 말해달라고 했기 때문입니다비즈니스 모델을 고려하지 않으면 리텐션 체류 시간이 모두 다 쓰일 수 있는 Output 지표입니다비즈니스 모델을 고려한 Input 지표를 만들면 좋겠다는 의도로 낸 문제입니다서비스 접속 = 주문으로 이어지는 경우가 대부분이라고 해주셨는데 이 근거는 어디에서 나온걸까요?DAU가 1000명이면 주문이 1000명에 근접하다고 생각하시는걸까요? 제 경험상 아닌 경우를 더 보긴 했습니다. Push를 보내거나 하면 DAU는 올라가는데 주문은 영향이 적은 상황도 있구요그렇기 때문에 지금 Input 지표를 생각해보시면 좋겠습니다(배달 비즈니스의 목표를 생각하면서)5번5번도 2번과 문제가 거의 비슷하고, 추천 알고리즘은 Recall, Precision 등의 방식으로 확인하곤 합니다https://imlookingformyjob.tistory.com/entry/%EC%B6%94%EC%B2%9C%EC%8B%9C%EC%8A%A4%ED%85%9C-%EC%B6%94%EC%B2%9C%EC%8B%9C%EC%8A%A4%ED%85%9C-%EC%A2%85%ED%95%A9-%ED%8F%89%EA%B0%80-PV-CTR-AB-Test-%EC%A0%95%ED%99%95%EB%8F%84-%EC%A0%95%EB%B0%80%EB%8F%84-%EC%9E%AC%ED%98%84%EC%9C%A8-F1-Score-PrecisionRecallK-MAPK-nDCG-Hit-RateK추천 알고리즘 지표로 검색해서 글 몇개 살펴보시고 인지하시면 좋을 것 같아요! 6번1인당 평균 작품 소비수를 제시해주셨는데, 평균 1.5개, 3.5개 이런 식으로 표현될 것 같아요.저라면 하루에 소비된 작품 수나 작품을 소비한 유저 수를 구할 것 같고, 유저 수가 있으면 말씀하신 것을 보조적으로 계산해둘 수 있을 것 같아요그 이유는 "평균"값은 데이터 분포에 따라 달라집니다. 그렇기 때문에 아웃라이어가 생기면 지표가 올라갈 수도 있어요(물론 트래픽이 많으면 이것도 어느정도 영향이 덜 미치겠지만) 그래서 저는 평균을 보기도 하지만 평균을 계산하기 위해 구성되는 값을 더 먼저 보고 평균을 봅니다그리고 평균 외에도 중앙값도 보는 편이에요. 두개를 보면 분포가 어떤지 이해할 수 있거든요이렇게 하면 어떻게 해야 사람들이 작품을 더 많이 볼 수 있을까? 생각할 수 있어서 Action Item을 구체화할 때 도움이 됩니다여기서 더 나아가면 신규 유저별, 기존 유저별로도 쪼개볼 수 있지요 7번네 이 부분은 지표는 잘 생각해주셨고, 추후에 있을 실험 내용을 맛보게 하려고 낸 문제였어요. 실험 파트를 보시고 다시 문제 보시면 영감을 얻으실 수 있을 거예요 문제 푸느라 고생하셨습니다!!

1-2. 제품(Product) 화면이 안보여요

앗 재부팅하니 되었다는 답변을 써주신 것을 봤는데 해결이 안된걸까요?

1-2. 제품(Product) 화면이 안보여요

서쿠님 안녕하세요.제가 강의를 확인했을 때는 보이는데, 서쿠님 환경이 궁금하네요.혹시 지금 어떤 환경이실까요? 사이드카나 듀얼모니터 등을 통해서 보고 계실까요?예전에 아래와 같은 질문을 본 적이 있어요.https://inf.run/PTix1 녹화 프로그램이 켜져있다거나 하는 경우에 안된다는 이야기도 들었어요. 이 부분은 인프런측에 문의를 하시면 자세한 가이드를 주실 것 같아요.

4-8 지표 정의하기 연습 문제 풀이!

해성님 안녕하세요! 문제 푸느라 고생하셨어요~~! 1번CVR에서 전환율에서 "전환" 이벤트를 화면 전환으로 정의하신걸까요?화면 전환으로 정의하면 클릭율과 거의 비슷한 개념으로 볼 수 있습니다전환 이벤트를 "구매"로 정의하면 구매 전환율이 되어서 실제로 홈화면에서 특정 화면을 통해 구매했는가의 비율을 가지게 됩니다그래서 1), 2) 생각 잘 해주셨는데 전환 이벤트 정의에 대해 고민을 해보시면 좋을 것 같아요!목적 정의를 고민하신 것 잘 하고 계신데, 목적이 문제와 동일합니다. 목적이라고 하면 조금 더 구체적으로 가야 합니다. 기능이 잘 동작한다? 잘 동작한다는 뭐지? 이 정의가 필요해요.CTR이 기존 대비 상승이라고 했는데 기존은 배포 이전이겠죠? 이렇게 이야기를 한다면 만약 시즈널리티의 이슈로(만약 월드컵 결승에 우리가 나간다고 하면 치킨이 엄청 많이 팔릴 거예요) 올라갈 거예요. 이런 상황이라면 기능 때문이 아니라 시즈널리티 때문에 발생한 이슈겠지요그래서 더 정확히는 전후 비교 외에 AB Test를 통해 신기능을 경험하는 유저와 아닌 유저와 나뉘어서 지표를 보면 더 정확한 판단을 할 수 있습니다 2번CTR로 잘 정의해주셨고, 이거 외에 정의한다면 구매 전환율(CVR)을 뽑을 수 있을 거예요. 일단 검색을 만족하면 클릭했을거고, 그러면 결제를 했겠죠? 이걸 2가지 지표로 파악하는 거예요.목적에 지금 검색 기능에 만족했는지 확인이라고 해주셨는데, 만족했다면 어떤 행동을 했을 것이다까지 생각해보시면 더 구체화가 가능해요!참고로 검색 알고리즘은 "알고리즘"이라 이미 정해진 지표 몇가지가 있어요. 알고리즘 단어가 나오면 한번 검색해보시는 것도 추천해요예 : https://kgw7401.tistory.com/90 3번이 문제는 간단하게 검색 필터를 사용했냐?를 확인하고 싶은 문제입니다따라서 전환율까지 가지 않고, 단순하게 클릭했는지를 파악하는 것이 더 좋을 것 같아요. ON/OFF 클릭이 많이 생기니 그 클릭이 얼마나 있나로 일단 이 제품 자체의 사용 비율을 구할 수 있지요아래 영상에서 제가 특정 기능 지표를 어떻게 바라보면 좋은지 알려드리고 있는데, 한번 살펴보셔요https://youtu.be/axZLFQjrFKM?si=X0KfSOOG4Ej3F7fZ&t=1160 4번4번 문제가 면접에 나온다면, Input Metric -> Output Metric 프레임을 생각해보시면 됩니다. Output Metric이 결국 매출인데, Input Metric은 무엇으로 해야 할까요?주문 수도 가능한 지표고, 좀 더 뾰족하게 신규 유저의 주문 수 등 다양하게 볼 수 있어요AARRR 관점의 답변은 저라면 좋은 답변으로 판단하지 않을 것 같은데, 그 이유는 배달 서비스에서 가장 중요한 지표란? => 배달 서비스만의 지표를 생각해보란 의미라서요. 배달 서비스, 배달 비즈니스는 어떻게 진행되는지 고민해보시고(비즈니스 모델도 살펴보고) 지표를 뽑아보시면 더 좋을 것 같아요5번CTR도 쓸 수 있고, 보조적으로 CVR을 사용해서 실제로 구매까지 했나 살펴볼 수 있어요.또한 알고리즘 관점 지표도 있으니 살펴보셔요https://datascience-hyemin.tistory.com/1346번코드잇 서비스는 왜 생긴걸까요? 고객의 어떤 문제를 해결하기 위해 나온 것일까요?고객의 문제를 먼저 생각하며 지표 정의를 해보면 좋아요결국 코드잇은 공부를 하기 위한 서비스니 학생들이 얼마나 공부하고 있는지를 대표할 수 있는 지표를 고를 것 같아요그리고 회사 관점에선 말씀하신 사용자 수 또는 하루에 "강의 구매를 위해 구매 페이지를 얼마나 접근하는가?"를 살펴볼 수 있을 것 같아요. 구매 페이지에 들어온 사람들 수가 있고 실제 구매한 사람이 있으면 비율로 표시할 수 있는데 2개의 숫자 조합이 어떻게 해야 더 올라갈 수 있을지 고민해봐도 좋을 것 같아요7번요 문제는 특정 지표를 선정해서 AB Test를 해야하는 의도로 미리 낸 문제입니다. AB Test 파트 학습하시고 문제 다시 보시면 이해가 되실 것 같아요 계속 문제 풀어보시지요! 파이팅입니다!

4-8. 지표 정의 연습 문제 1번과 2번 피드백을 여쭐 수 있을까요?

.님 안녕하세요! 문제 푸시느라 고생하셨습니다하나씩 의견 드려볼게요문제 #1. 기능이 잘 동작하고 있는지 확인하려면?잘 동작한다로 정의를 해주시면서 전개하신 것 좋습니다!(1) 배너 / 카테고리 / 추천 / 주변 영역별 클릭률 중 '10% 이하가 없어야' 잘 동작한다고 볼 수 있다여기서 10%인 이유는 무엇일까요? 실무라면 왜 10%냐?라고 물어볼 것 같아요저는 이렇게 10%라고 정하는 것을 선호하진 않아요(기준을 만들기 위한 근거가 명확하지 않다면)10%라고 정하려고 하면 과거 데이터를 보고 평균과 중앙값이 얼마고, 최하가 이 정도라서~~ 라는 근거를 제시할 수 있는데 이게 주관적일 수 있어서 저는 클릭률 지표를 보면 분포가 어떻게 되어 있고 분포에서 1/4 선이 몇%다 이렇게 제시할 것 같아요아마 10% = 좋지 않다라고 생각하실 수 있는데, 맥락에 따라서 10%가 좋은 지표일 수도 있어요. 처음 배포할 땐 2%였다가 올려서 10%가 되는 부분도 있을 테니깐요유저의 활용도를 구체적인 단어로 정의할 것 같아요활용을 한다면, 클릭을 할 것이다 -> 따라서 클릭율을 볼 것이다이런 흐름으로요활용이란 단어가 어떤 컴포넌트인지에 따라 달라질 수 있어서, 다양하게 해석될 수 있는 단어는 피하곤 합니다(2) 이탈 및 전환율이 '안정적'이라면 잘 동작한다고 볼 수 있다안정적이다라는 것이 추상적입니다. 안정이란 단어도 사람마다 다양하게 해석될 것 같아요. 이탈 및 전환율이 어떻게 보면 상충되는 지표라 (이탈하면 전환이 되지 않음) 하나를 정할 것 같아요. 저라면 이탈보단 전환율을 선호하는데, 이탈은 명시적인 이벤트가 남지 않기 때문에 그렇습니다.여기에 써주신 내용은 추상적이라 Action Item이 구체적으로 나오긴 어려울 것 같아요(좀 더 뾰족한 것을 원해요)문제 #2. 검색 만족도 지표클릭률 및 클릭률 당 체류시간이라고 말씀해주셨는데 이거는 2가지 지표를 제시한 겁니다. 동시에 2개의 지표보단 하나씩 제시하는 것을 추천합니다(1) 클릭률(2) 체류 시간클릭률 당 체류시간은 어떤 의미일까요? 해석이 명확하게 떠오르진 않아요(정의가 써있지도 않고)클릴륙 대비 체류 시간이란 지표를 본 적이 없는데, 작성해주신 것을 보면 그냥 체류 시간을 원하시는 것 같아요.세션당 검색횟수에서 검색 횟수 MICE하게 나눈다고 해주셨는데, 이 부분이 추상적으로 느껴집니다. 조금 더 구체적으로 가면 좋겠어요. (MICE가 아닌 MECE!)참고로 검색 품질 지표는 알고리즘 관점의 지표가 있는데, 아래 글에서 보실 수 있어요https://brunch.co.kr/@monglec/134문제 푸시느라 고생하셨습니다! 계속 풀어보셔요.

6-7. 데이터 로그설계 연습 문제 제출합니다!

솔의눈님 안녕하세요! 과제 푸시느라 고생하셨습니다! 하나씩 의견 드려볼게요문제1. 기능 잘 동작하는지?추천배너1을 클릭하는 경우를 click_recommend_1으로 해주셨는데 보통 이런 이름을 사용하지 않습니다그 이유는 추천배너 1이라는 것이 언제 1이 아닐 수 있기 때문입니다. 숫자로 쓰는 것은 명시적이지 않기 때문에 자주 활용되진 않습니다또한 event_name에 배너 id까지 넣으신건데, 저라면 차라리 click_banner라는 이벤트를 만들고 banner_id를 이벤트 파라미터로 넣을 것 같습니다. 그러면 정보는 동일하거든요. 배너가 추가되어도 파라미터로 넣을 수 있게 됩니다문제 1번은 해당 페이지에 있는 모든 기능들을 어떻게 동일한 관점으로 비교할 것인가?를 다룬 문제입니다. 따라서 특정 기능만 선택하는 것이 아니라 각 기능들을 비교할 수 있는 공통적인 지표를 만드는 것이 핵심입니다주문 전환율의 경우 배너가 어떤 것인지에 따라 다를 것 같아요. 쿠폰 배너일 수도 있지만, 공지 배너일 수도 있고 배너 타입에 따라 주문이 있는지 없는지가 달라질 것 같아요. 그래서 이 지표를 한다면 배너 타입도 추가해야 하는데, 복잡해질 가능성이 있어 저는 먼저 고려하진 않을 것 같아요배너 파라미터에 food_name, food_description은 어떤 것일까요? 요 부분이 헷갈리네요지표 정의하실 때 분자 분모는 잘 설정하셨습니다. 이렇게 계속 시도하시면 되어요지표를 정의하실 때, 왜 이 지표를 선택했는지도 같이 기록해주시면 더 좋아요. 목적을 같이 명시하면 다른 사람들도 왜 이 지표인지 이해하기 수월해집니다.view_home 이벤트에 has_address는 어떤 목적인가요? 보통 이런 정보는 유저의 프로퍼티로 뺍니다(유저의 정보로) 이벤트가 발생할 때마다 생기는 정보가 아니라 유저에게 저장된 데이터기 때문에 저라면 이건 유저 프로퍼티를 사용할 것 같아요만약 유저 프로퍼티에도 있는 데이터를 중복으로 저장하고 싶다면, 목적이 명확해야 합니다(어떤 지표에서 쓰일지 등) 지금은 해당 파라미터는 사용되지 않고 있네요3. [추천배너2] ㅡ 주요 지표 ① 평균 ETA와 추천배너2 ETA 비교여기서 ETA를 생각하셨군요! ETA 지표는 배달 서비스에서 중요한 지표긴 합니다. 다만 왜 동네맛집에서 이 지표를 봐야 할까요? 동네맛집이 더 가깝다는 가설이 있었을까요?ETA 정보는 유저의 로그 데이터가 아니라 서버 로그를 보는 경우가 더 많습니다. 서버엔 데이터베이스의 어떤 값이 언제 바뀌었는지가 기록되기 때문에, 그걸 바로 쓰거나 order DB에 별도의 컬럼으로 기록되어 있을 수 있습니다왜 ETA인가?라는 관점이 명확하면 더 좋겠습니다. 배달 서비스는 전체적으로 ETA가 중요하고, 동네 맛집이라고 해서 더 중요할까?라는 생각을 해보는 것이 필요할 것 같아요4. [추천배너2] ㅡ 주요 지표 ② 추천배너2 클릭율여기서 view_home에 recommend_model : random으로 되어있는데 이건 어떤 의도인가요? 추천 모델을 위하서라면 별도로 서버 로그로 기록하는 경우가 더 많습니다. 유저 로그는 유저의 행동 관점으로 로그를 남기는 편입니다그리고 view_home 을 홈 화면 노출 횟수라고 해주신 것 같은데, 엄밀히 말하면 홈 화면 진입 수입니다. 노출이라는 것은 정의가 살짝 다릅니다. 배너 같은 경우에 노출이라고 많이 씁니다(배너는 시간이 지나면서 자동으로 넘어가는 경우도 있기 때문에) 문제 2. 검색 만족도 지표검색 후 최종 주문 전환율이라고 해주셨는데 결국 검색 주문 전환율을 의미하는 것 같아요. 최종이란 단어가 있으면 최종이 아닌게 있나? 라는 생각이 드네요검색 결과 0건 비율은 알고리즘 관점의 지표인 것 같아요.검색 만족도 지표는 알고리즘 관점의 지표가 있는데, 아래 글 참고해보셔요https://techblog.musinsa.com/map-416b5f143943검색 이탈률은 검색하고 이탈한 비율인가요? 이런 경우라면 이탈보다 명확하게 검색하고 클릭한 비율을 추적할 것 같아요. 1에서 CTR을 뺀다거나 하면 사람들이 이해하는 것이 어려운 경우가 있더라구요(결국 같은 지표를 의미하므로)complete_order 이벤트의 파라미터로 user_id를 넣으셨는데, 보통 유저의 로그 데이터엔 모든 이벤트에 기본적으로 user_id가 추가됩니다. 따라서 이벤트의 파라미터로 user_id를 넣을 필요가 없습니다(이벤트의 파라미터 : 이벤트의 정보만 저장한다고 생각해주시면 됩니다) 또한 user_id를 u_1111 이런 형식으로 해주셨는데 u를 쓰신 이유가 있을까요? 아마 현재 회사에서 그런 형태로 저장해서 해주셨을 것 같은데, id는 숫자로 작성하는 것을 더 추천합니다(물론 회사의 id 형태를 따라가긴 해야겠지만..!)view_search_result여기서 use_search 파라미터는 왜 있을까요? 이벤트 네임 자체가 view_search_result면 모두 다 search를 통한 것일텐데 이 값이 또 있는 이유가 궁금합니다food_source에 research_result라고 되어있는데 research는 무엇인가요? search일까요? 이런 정보를 다 넣어달라고 하면 클라이언트 개발자쪽에서 데이터를 저장하고 있어야 해서(화면이 바뀌어도 계속 저장하고 있어야 해서) 선호하지 않을 수 있어요. 이건 명확하게 사용될 이유가 있으면 좋을 것 같아요is_suggest_keyword는 어떤 값일까요? 트래킹 시트에도 작성되어 있진 않네요.session_id 있는 것은 잘하셨습니다! 이렇게 하면 같은 세션인지 확인할 수 있어요region_code는 왜 존재할까요? 어떤 목적으로 로그를 심으신 것인지 궁금하네요 문제 3. 검색 필터 기능의 활성화 지표검색 필터 사용률 = 필터가 1개 이상 적용된 검색 결과 화면 노출 횟수/전체 검색 결과 화면 노출 횟수위와 같이 정의해주셨는데, 사용률이라고 하면 검색 필터 클릭 수 / 검색 필터 노출 수이렇게 정의하면 될 것 같아요. 노출 횟수와 노출 횟수가 있는데, 노출이라는 것이 위에서 말씀드린 것처럼 view랑 정의가 살짝 달라서 헷갈리네요(노출은 홈 화면에 갔다가 다시 화면 진입할 때 찍히게 하는 경우도 있어요)사용이라는 것은 명확하게 클릭을 했을거라서 클릭을 쓰는 것을 추천드려요혹은 노출 횟수를 쓰신 이유가 있으려나요? 2. 개별 필터 활용 비율이 지표는 결국 어떤 필터를 얼마나 클릭했는가라서 각 필터 클릭 수를 세면 될 것 같아요. 지금은 여러개 필터에 대한 지표를 구하라고 하지 않아서 일단 더 생각하지 않고 필터 사용에만 초점을 맞추셔도 괜찮아요3. 필터 사용 유무 CTR 비교여기서 갑자기 A와 B가 나옵니다. 그 이유는 무엇일까요?AB Test 이야기는 아니라서 지표만 정의해주시면 되어요AB Test를 할 때 A와 B 집단에 따라 로그 정의가 달라지면 안됩니다. 로그를 동일하게 저장해야 비교를 할 수 있어요. 지금 view_search_result가 그룹 A엔 filter_id가 있고 B엔 filter_id가 없네요. 이렇게 작성하고 공유해주셔서 감사합니다! 정리해보면지표의 목적을 같이 기록해주시면 좋을 것 같아요지표를 많이 만드는 것보다 핵심 1-2개의 지표만 있어도 충분합니다보시다가 추가적으로 이것도 필요할 것 같은데?라고 생각하며 지표를 더 추가하는 것은 "목적"에 맞게 했는지 고민해보시면 결정할 수 있을 것 같아요 고생하셨습니다!

6-7. 데이터 로그설계 연습 문제 제출합니다!

솔의눈님 안녕하세요. 지금 작성해주신 것 보고 있어요. 이번 주말까지 답변 드릴게요!!

4-8. 지표 정의 연습 문제 피드백 부탁드립니다!

기원님 안녕하세요. 자세히 고민해주셨네요! 고생하셨어요. 하나씩 피드백 드려볼게요. 연습문제 #1. 기능이 잘 동작하고 있는지 확인하려면?각 영역에 대한 목적정의공통목적: 우선적으로는 사용자가 음식점 및 메뉴를 탐색 및 발견할 수 있도록 해주는 것이고, 결과적으로는 장바구니에 넣고 결제까지 이어지도록 해주는 것.배너: 다양한 프로모션, 할인혜택 등을 확인하고 ‘이벤트성 혜택'을 제공메뉴 카테고리: 사용자가 특정 메뉴를 탐색할 시 카테고리 진입을 통해 탐색 범위를 좁혀줌이런 음식은 어때요?: (사용자 데이터를 기반으로 추천한다고 가정) 사용자가 자주 먹는 음식이나 들여다보았던 메뉴 등을 추천하여 반복탐색과정의 피로를 줄임동네맛집: 픽업을 하거나, 배달소요시간이 중요하거나, 위치에 따라 적어지는 배달료등을 중요하게 생각하는 사용자에게 위치정보를 최우선적으로 고려한 가맹점을 보여줌확인해야할 지표와 정의A. 각 영역(배너, 메뉴카테고리, 음식추천, 동네맛집) 별 공통 지표영역별 CTR지표정의: 홈 화면 영역별 CTR (영역 클릭 / pv) 이유: 관심 및 반응 확인을 확인하게 위함 잘 동작한다의 시그널: CTR이 상승 및 유지. 그러나 다음 나올 2,3번도 같이 좋아져야 유효.각 영역 클릭 → 다음 퍼널 진입률지표정의: (홈)영역클릭 - (음식점 화면, 세부화면, 장바구니 화면 등등) - 결제완료 퍼널 이유: 특정 퍼널 진입 후 다음 단계로 전환율이 낮을 경우 어떤 지점에서 이탈하는지 파악하기 위함영역 유입 주문 전환율정의: 영역 별 주문 CVR (주문완료/영역 유입 수) 이유: 해당 영역이 실제 결과인 ‘주문'에 기여하는지 확인하기 위함영역 유입 주문/매출 기여 (Output)정의: 매출 (영역 유입 매출 / 전체 매출) 이유: CTR이 낮더라도 매출기여가 크면 전략적으로 중요한 영역일 수 도 있음이 부분까지 써주신 부분은 목적이랑 지표에 대한 고민을 잘 해주신 것 같아요. 분자 분모로 써주신 부분도 좋아요.의견을 드리자면 잘 동작한다를 명확히 정의하면 같은 지면에서 지표 정의가 편해집니다. 저라면 해당 화면에서 잘 동작하면, 고객이 클릭을 할 것이다. 따라서 클릭률 지표를 보겠다(CTR)라고 하고, 각 지면마다 클릭률 지표를 비교할 것 같아요.같은 페이지에서 같은 지표를 써야 비교가 가능합니다. 배너별, 메뉴 카테고리별, 음식 추천 별, 동네 맛집별 CTR이 나온다면 각각을 보고 비교를 할 수 있지요. 그래서 공통적으로 쓸 수 있는 지표를 고려해보는 것도 필요합니다(결국 비교를 하기 위함이니)2의 다음 퍼널 진입률 같은 지표를 볼 수는 있는데, 이렇게 보다보면 다음다음의 퍼널 진입률은? 고민할 수 있습니다. 따라서 저라면 여기선 CTR을 메인으로 보고 CVR을 보조적으로 활용할 것 같아요. 많은 지표를 보는 것이 답이 아니라서요B. 영역별 보조지표 (Sub Metric)배너(프로모션/혜택)지표) 혜택적용율 (혜택적용/주문완료) 이유) CTR은 상승하나 실제 주문완료율과 함께 혜택적용율이 적으면 혜택 등의 안내가 잘 안될 가능성이 있음이런 음식 어때요? (목적: 사용자기반 추천을 통해 반복탐색과정의 피로를 줄임)지표) 주문까지 걸리는 시간 (이런음식 어때요 영역 클릭 후 주문까지의 duration time / average 주문완료시간) 이유) ‘피로 감소'의 목적을 달성하는지 평균 주문시간과 비교하여 정량적으로 확인하기 위함동네맛집지표) 동네맛집의 평균 배달비 (동네맛집의 평균 배달비/전체 평균 배달비) 지표) 동네맛집 평균 주문완료율 (동네맛집의 주문완료율 / 전체 주문완료율) 이유) ‘거리/시간/배달료가 중요한 사용자에게 제공하는 것이 목적' 이라는 가설을 정량화하여 검증하기 위해 해당 가치들이 실제 선택으로 이어지는지 확인하기 위함이 보조 지표들은 "이 기능이 잘 동작하는가?"와 직접적인 관계가 있냐고 하면 약간 목적이 있는 지표들 같아요. 말씀하신 지표들은 운영성 지표라고 분류할 수 있는데, 운영할 때 반복적으로 봐야 하는 지표입니다. 다만 이 문제에서는 이 지표까지 고려하면 너무 많은 지표를 보고 있는거라 의사결정이 더 어려워 질 수 있습니다.배너를 담당하는 마케팅팀에서 혜택 적용율 지표를 파악할 수는 있지만, 제품이 잘 동작하느냐 관점에선 거리가 있습니다이런 음식 어때요에서 주문까지 걸리는 시간은 추천 알고리즘을 개발하는 팀에서 고려할 수 있으나, 추천 알고리즘에선 시간 지표보단 CTR이나 CVR, Recall Precision 등 관점으로 봅니다동네 맛집에서 평균 배달비라는 지표를 운영팀에서 볼 수는 있으나, 평균 배달비 지표를 봐서 뭐할건데?라는 질문에 Action Item이 떠오르는지 고민해보시면 좋을 것 같아요.C. 가드레일 지표전체 주문 전환율 (홈→주문완료)리텐션이유: 장기적으로 주문 전환율이 줄고 이탈율이 발생하면 안됨 (배달 앱 특성 상 전환율이 낮은데 매출이 상승하는 전략을 기대하기 어렵다고 생각하고, 유저의 수 가 더 직접적으로 매출과 직결될 것 같다는 가설을 세워봄)리텐션이 많이 나오는 지표인데, 정의를 구체적으로 해야 합니다. Day 1 클래식 리텐션인지 이런 구체적인 정의가 필요한데, 리텐션이라는 지표는 나오는데 시간이 오래 걸릴 수 있습니다(데일리 서비스가 아닌 경우라면 이 지표를 보기 위해 주간, 월간이 지나야 볼 수 있습니다)그래서 보통 서비스의 매출이나 API의 레이턴시 등을 가드레일 지표로 많이 활용합니다. 연습 문제 #2. 검색만족도 지표검색 기능의 목적: 사용자가 입력한 쿼리에 대해 원하는 메뉴/음식점을 빠르고 정확하게 찾도록 돕는 것.---사용자의 검색 흐름:검색 키워드 입력 - 검색결과 탐색 - 결과 클릭 - 음식점/메뉴 상세 - 장바구니 담기 - 주문완료---검색 기능에 대한 만족의 정의:원하는 결과를 찾는 것최소한의 탐색만으로 해결이 되는 것재검색을 반복하지 않는 것검색이 주문까지 이어지는 것---만족했는지 확인하기 위한 메인 지표:재검색율 (재검색 세션 수 / 검색 세션 수)지표 선정 이유: 재검색 세션 수가 낮을 수록 검색결과가 정확하게 나왔다고 해석할 수 있음, 반대로 많으면 사용자가 기대하는 결과와 불일치 한다고 생각할 수 있음검색 - 주문 전환율 (검색 세션 중 주문 완료 수 / 검색 세션 수)지표 선정 이유: 검색 결과가 실제 주문(행동)으로 이어지는지 확인하기 위함 고려사항: 가격이나 리뷰 등 요소나 주문 전까지의 ux요소 등 검색-주문 퍼널에서 전환율에 영향을 주는 다른 변수들이 존재할 가능성이 높기 때문에 단독 사용 시 해석의 오류가 있을 수 있을 것 같음---보조지표검색 페이지 내 상위 결과 클릭률 (Top 3 결과 클릭 수 / 검색 세션 수)지표선정이유: 상위에 사용자의 의도와 일치하는 결과가 배치되었는지 확인하기 위함 (결과 정확도 측면)세션 당 평균 검색 횟수 (검색 수 / 검색 세션 수)지표선정이유: 1번과 비슷한 이유 (결과 정확도 측면)---가드레일 지표전체 주문 전환율전체 리텐션지표선정이유: 검색 최적화가 다른 퍼널에 악영향을 주지 않는지 확인. 재검색이 낮을수록 검색 결과가 정확하게 나왔다고 해석할 수 있다고 하셨는데, 검색 결과가 정상일 때를 가정하고 말씀하신 것 같아요. 검색 결과의 퀄리티가 어떻게 되는지에 따라서 이 가정이 달라질 수도 있어요. 만약 검색 결과가 아무것도 나오지 않았다면? 그러면 재검색을 다시 할 수도 있지요. 근데 이게 과연 검색 결과가 정확할까?라고 하면 다른 문제가 됩니다. 그리고 검색 결과가 얼마나 보이는지도 고려해야 하는데, 이런 알고리즘의 문제들은 이미 많이 사용되는 지표들이 있습니다. 그래서 이런 지표들을 한번 검색해보면 좋겠다는 의도로 낸 문제입니다. 보조지표에 써주신 것과 관련이 됩니다.제품 관점에서는 검색에서는 CTR/CVR 지표를 많이 봅니다. 좋으면 -> 클릭한다 -> 결제한다라는 가정을 가지고 있어요. 가드레일 지표에 전환율 리텐션이 계속 나오는데, 어떤 시점의 전환율이나 어떤 시점의 리텐션이냐에 대한 정의가 없어서 추상적이네요. 지표 정의할 땐 항상 구체적으로 작성을 해줘야 해요(밑에서도 계속되는 패턴이네요)검색 지표 참고 : https://techblog.musinsa.com/map-416b5f143943연습 문제 #3. 검색 필터 기능의 활성화 지표검색필터의 목적 정의:검색 결과의 적합도를 높여 탐색 시간을 줄이고 재검색을 감소시키며 주문 전환율을 높이는 것성공지표:필터 사용 세션의 재검색률 (필터 사용 세션 중 재검색 발생 세션 수 / 필터 사용 세션 수) -실제로 필터가 정확도 높은 결과를 제공하는지 알기위함.필터 사용 세션 재검색율 vs 필터 미사용 재검색율 - 필터를 통한 결과가 유의미한지 알기위함필터 사용 세션의 장바구니 전환율 (필터 사용 세션 중 장바구니 전환 수 / 필터 사용 세션 수) - 필터가 구매의사 결정에 실제로 영향을 주는지 알기위함보조지표:필터 사용률 (필터 적용 수 / 검색 세션 수)검색-장바구니에서의 필터 사용 세션 duration (필터 사용 세션의 평균 duration / 전체 평균 duration)가드레일 지표:전체 주문 전환율전체 매출검색 미사용 세션 전환율리텐션 여기선 목적이 간다합니다. 검색이 잘 사용되는가? -> 잘 사용된다면? -> 클릭을 한다사람들이 필터 페이지에서 얼마나 클릭하고 있는가를 비율로 표현하면 CTR이 됩니다. 이 CTR을 먼저 보는 것이 중요합니다. "검색 필터"라고 한정했기에 필터에 대한 생각만 하면 됩니다. 필터 사용 세션의 재검색률은 검색을 할 때 필터를 사용했냐 여부인데 검색 필터 사용량과 살짝 거리가 있는 지표라 생각되네요.지금 성공지표에 있는 지표를 차라리 보조지표로 정의할 것 같요, 보조지표는 사용하지 않을 것 같아요. 작성해주신 것을 보니 지표에 대한 생각이 많으신 편인데, 내가 생각한 것보다 지표를 더 줄여보자고 생각해보셔도 좋을 것 같아요. 저는 프로젝트를 할 때 메인 지표 1-2개, 보조 지표 2개 정도만 둡니다. 연습 문제 #4. 배달 서비스에서 가장 중요한 지표는?배달 서비스에서 가장 중요한 지표란 뭘까?보편적으로 가장 중요하다는 것은 해당 지표의 영향으로 인해 output metric이 긍정적으로 상승한다는 것 (매출, 리텐션 등)일 것이다. 배달 서비스는 트래픽이 유지되어야 가맹점들도 사용할 것 이고, 가맹점 수가 많아야 트래픽도 유지될 것 인데, 줄어드는 순간 시스템적으로 성장이 힘들고 정체할 가능성이 있으며 리텐션에도 영향을 줄 수 있다는 가설을 세움.중요한 지표:주문 빈도 (Active User 당 주문 수)주문 수 (전체 주문 수)이유: 사용자 규모, 리텐션, 구매의도를 종합적으로 반영한 지표라고 생각.위 지표들을 어떻게 늘릴 수 (줄일 수) 있을까요?퍼널 분석을 통해 이탈률이 높은 지점을 파악하고 이 지점의 문제를 정의하고 성공지표를 정의한 뒤, 해당 지표 달성을 위한 서비스 개선을 해야함.구체적으로는, 검색/탐색 퍼널을 최적화 시켜서 첫 주문 전환율을 개선시킨다거나, 개인화 추천 및 프로모션을 최적화 한다거나, 재주문 UX 개선으로 주문빈도를 늘린다거나 등. 배달 서비스라는 비즈니스에서 중요한 것을 물어본 것은, 비즈니스에서 배달 서비스에서만 나올 지표가 무엇이냐?라는 질문을 던지기 위함이였습니다. 배달 서비스라고 하면 일단 배달을 요청하는 수가 있을 것이고, 배달 완료된 수가 있을 겁니다. 이 두가지 지표가 Input Metric으로 볼 수 있고, 가장 중요한 지표라고 할 때 Output보단 Input을 생각해보시는 것을 추천합니다. Output을 생각하면 결국 매출이라고 말하는 경우가 많습니다주문 빈도라는 지표를 써주셨는데 빈도라는 단어는 "같은 현상이 되풀이되는 도수"라는 말이라 Active User 당 주문 수랑 맞지 않네요. 저라면 1주일에 고객이 얼마나 주문하는가? 이런 개념이 주간 주문 빈도라는 지표와 맞게 될 것 같아요.지표가 나오면 해당 지표랑 관련해서 지표를 늘릴 아이디어를 생각해보면 좋습니다 .지금 지표를 늘리는 방법에서는 또 퍼널 분석이 나옵니다. 지표와 Action Item이 같이 가야 합니다. 위에서 쓴 지표를 늘리는 것을 고민해야 합니다. 써주신 것에선 주문 빈도를 어떻게 늘릴까?에 대해 고민을 해야 하는 것이에요. 연습 문제 #5. 추천 알고리즘의 성능 지표추천알고리즘의 성능을 확인한다는 것 = 추천알고리즘기능의 목표를 달성하냐는 것.추천알고리즘의 목적 : 유저의 정보와 유저 로그를 토대로 구매할 것 같은 제품을 보여줌 추천알고리즘이 제대로 작동한다는 것 은?유저의 정보를 제대로 파악?유저의 로그를 제대로 파악?유저의 정보 및 로그가 추천하는 제품과의 연관성이 뚜렷함?유저가 추천 제품에 관심을 가짐?유저가 추천받은 제품이 실제 구매로 이어짐?구매로 많이 이어짐?유저가 추천 제품에 관심은 보였지만 실제 구매는 안함?추천 제품이 자연 탐색 제품 대비 구매율을 높임?이 것들을 확인하기 위해 어떤 지표를 파악해야할까요? 왜 해당 지표일까요?메인지표:추천 제품 CTR/pv (추천제품의 1차적인 관심도를 확인하기 위함)추천제품유입 구매 CVR (추천 제품 유입 구매율/전체구매율) - 실제 추천 제품이 구매까지 이어지는지 확인하기 위함보조지표:추천 노출 제품의 구매율 (추천노출제품 구매율 / 추천 노출 수)자연 노출 제품의 구매율 (자연 노출 제품의 구매율 / 추천 미노출 수)지표해석 (멘탈시뮬):만약 CTR은 높지만 CVR이 낮다면, 관심도는 높지만 실제로 구매까지 전환되지는 않는다는 것이고, 전환이 안된다는 것은 제품 클릭 전 initial기대치가 상세에서 충족되지 못하거나, 실제 가격, 배송비 등 다양한 변수 때문에 전환이 안된다고 가설을 세울 수 있음만약 CTR이 낮은데 CVR이 높다면 실제로 알고리즘은 잘 작동하지만 초반에 사용자의 관심을 제대로 끌지 못할 가능성이 있음. 이를 위해 관심을 더 끌기위한 전략을 세울 수 있을 것 같음.만약 CTR과 CVR이 모두 낮다면, 사용자가 추천제품에 관심이 없다는 뜻이고, 그렇다는 건 알고리즘이 제대로 작동하지 않는다고도 해석 할 수 있음. CTR/pv는 무엇인가요? CTR과 PV를 나눈다는 의미일까요? CTR 자체가 이미 분모에 PV가 들어갈텐데 CTR/pv가 보여서 이게 어떤 것이지?라는 생각이 드네요. CTR = 클릭 수 / Page View 수 이렇게 정의할 수 있는데 이걸 의미하셨을까요(구체적으로 작성하되 누가봐도 헷갈리지 않도록 지표를 정의하는 것이 필요합니다)추천 알고리즘에서 CTR, CVR을 많이 사용하고, 알고리즘 자체의 성능을 평가할 때는 Precision, Recall 등에 대해 살펴보셔도 좋을 것 같아요.https://sungkee-book.tistory.com/11 연습 문제 #6. 자주 사용하는 서비스의 지표자주 사용하는 서비스: 오늘수거서비스개요: 사용자가 문 밖에 쓰레기봉투 안에 쓰레기를 넣고 수거요청을 하면, 밤 10시 이후 쓰레기를 수거해가고 무게에 따라 사용자에게 요금을 청구함.북극성지표: 우선 이 서비스의 북극성 지표는 반복사용과 연관된 지표일 것 같음. 우선 이 서비스의 수익 구조는 (활성 사용자 수 x 사용자당 수거 빈도 x 평균수거금액) 임. 그렇기 때문에 이 서비스는 사용이 해빗화가 되어야하고 (반복 사용), 생활 습관에 녹아들어야하는게 중요함. 그래서 결국 ‘반복 수거 신청'이 제일 중요할 거 같고, 또 쓰레기를 버리는 루틴을 봤을 때 주간 사용자들을 보는게 중요할 것 같음. 그래서 북극성 지표는 ‘WAU 중 주간 신청 완료율 (주간 수거 신청 완료 수 / 주간 활성 사용자 수)로 정의할 것 같음.메인 지표:수거 신청완료 전환율 (수거신청 완료 수 / 수거신청버튼 클릭 수)주간 리텐션보조지표:수거신청버튼 CTR (수거신청 버튼 클릭 수/ 홈 uv)혜택 사용 수거신청 CVR (혜택사용수거신청 수 / 전체 수거신청 수)이 문제에선 북극성 지표나 메인 지표가 동일하게 나와야 합니다. 서비스의 지표를 물어본거라서요. 동일한 개념이 2번 반복되는데(북극성, 메인이 유사한 의미라는 말) 써주신 지표가 다르네요.WAU 중 주간신청 완료율이란 지표는 조금 더 잘 작성한다면, "주간 쓰레기 수거 요청 비율"이라고 작성할 것 같아요. WAU 중 뭐다 이러면 지표를 보는 사람 입장에서 헷갈리거든요.(WAU? 중?) 비율 지표를 볼 것이냐도 고민해야 하는데, 비율 지표는 값이 작을 땐 확확 바뀔 수 있습니다. 그래서 저라면 오늘수거 서비스에선 쓰레기 요청 수를 더 메인으로 볼 것 같고, 보조지표로 WAU을 추가해서 두개를 조합하는 값도 보되, 절대값을 먼저 볼 것 같아요. 그러다가 절대값이 어느정도 크면 그 때 비율로 볼 것 같네요(비율 지표가 항상 정답은 아닐 수도 있다는 의미에요)연습 문제 #7. 퍼널 개선 프로젝트현재 가입 퍼널 프로세스의 전환율: 20%미션가입 퍼널을 개선해야함온보딩 기능의 효과를 파악해야함 미션을 달성한다면?온보딩 기능이 효과적이고 가입 퍼널이 개선된다면? - 가입 완료율이 높아지고, 가입한 사용자의 ‘질'이 높을 것 (질이 낮은 사용자는 바로 이탈하거나, 유령사용자 등)지표상으로 어떻게 파악해야 하나?메인지표: 가입 CVR (가입완료 수 / uv)보조지표: 온보딩 퍼널 단계별 전환율온보딩 진입 수 / 이전 단계 수온보딩 완료 수 / 온보딩 진입 수가입 완료 수 / 온보딩 완료 수가드레일 지표:가입 완료 후 초기 활성화 (가입 후 일주일 내 서비스 사용 수 / 가입완료수) 가입 퍼널의 목표를 생각해야 하는데, 가입 퍼널의 목표는 결제까지 가면 당연히 좋겠지만 우선 가입까지 가는지가 중요합니다. 그래서 메인지표의 CVR이 보조 지표로 가고, 보조지표에 있는 단계별 전환율을 메인지표로 보는 것이 좋을 것 같아요. 또한 이 문제는 AB Test를 해야 명확하게 알 수 있는 부분이라 실험 부분의 강의를 들어보시고 다시 보시면 좋을 것 같아요 전체적으로 지표에 대한 생각을 많이 하신 것 같은데, 연습하는 과정에서 많이 생각해보면 도움이 됩니다. 다만 좀 많이 생각하는 부분도 있는 것 같아서 "간단하게 생각해보자"라는 생각을 가지셔도 좋을 것 같아요. 지표가 많다고 답이 아니라는 부분이 중요합니다

강의 수강 목적입니다!

해성님 파이팅입니다!!!!! 다 수강하셔서 원하는 것 꼭 얻으시길 바라요

4-8. 지표 정의 연습 문제 피드백 부탁드립니다!

기원님 안녕하세요! 작성해주신 것 하나씩 보고 있는데, 시간이 조금 걸리네요. 일요일까지 답변 드릴게요!