지표 정의하기 연습문제

Question

강의를 듣고 해야지 해야지 했는데 드디어 풀었네요! 풀고나서 피드백을 들으면 저의 생각 확장에 도움이 될것 같아 인프런 질문 게시판에 올려봅니다! 미리 감사드립니다:) #1. 기능이 잘 동작하고 있는지 확인하려면? (메인 화면의 모든 영역이 에러없이 잘 보인다는 가정하에) Click이라는 절대적 수치 → (단순히 기능이 잘동작하는지만 확인하려면) Click 이라는 이벤트가 각 영역에서 일어나고 있는지 그리고 얼마나 많이 일어나고 있는지 해당 기능이 잘 동작하고 있다는 것을 볼 수 있음 해당 지표가 전체 영역에대해 증가되면 잘 동작하는 것 (보조)CTR : (각 영역의 클릭수) / (해당 홈화면에 들어오는 유저 수) → 클릭율이 높은 영역을 통해 우리 앱 내 서비스에서 어떤 영역이 인기가 있는지 알 수 있음 (부가적) 각 영역에서 다음 페이지로의 전환율(CVR) → 각 영역에서의 클릭수가 증가하고 각 영역에서의 구매 전환이 전반적으로 상승한다면 잘 동작한다고 볼 수 있을것 같음 → 퍼널이 길어서 정확하게 부합하는 지표는 아니고 추가로 같이 볼 수 있지 않을까? 비즈니스 질문 우리 홈화면에서 각 영역의 버튼 기능이 잘 동작하고 있어? 각 영역의 클릭수 확인 : 해당 메인 페이지에 들어온 유저 대비 몇명이 클릭수를 남기는지 비교 함으로써 클릭이라는 이벤트가 잘 쌓이는지도 확인 가능 어떤 영역을 통해 우리 유저들이 구매로 넘어갈까? 각 영역의 CTR : 어떤 부분에 더 초점을 맞춰야 하는지 어떤 영역이 죽어가는 영역인지 알 수 있을 것으로 예상 #2. 검색 만족도 지표 검색 만족도 지표(검색 기능에 만족했는지 알기위해) 퍼널: 검색페이지 → 검색 결과 페이지(plp) → 제품 상세 페이지(pdp) 아래 두 지표가 높아지면 좋음 (메인) CTR : 검색 결과 plp페이지에서 pdp페이지로의 클릭율로 확인 (보조) CVR: 검색을 통해 pdp 페이지 클릭 후 해당 페이지에서 구매 전환이 일어난 경우 재검색율: 한 유저가 검색을 몇번이나 다시 하는지 상황 시뮬레이션 검색 결과 페이지를 만족했을 경우 상품 상세 페이지로 넘어가고 plp페이지로 나오고를 반복 후 마음에 드는 음식점에서 음식을 구매 할 것임 불만족 했을 경우 상단에 보이는 몇개의 결과물들을 본 후 다시 검색 시도 몇개의 상품 페이지에 들어갔다가 다시 검색 시도 엣지) 처음 검색어에 만족했는데 유저의 마음이 변심해서 새로 또 검색하는 경우 (재검색이지만 사실 검색 만족도가 잘 되지 않았다고 보기는 어려움) → 그래서 아닌 재검색율을 메인지표로 쓰기엔 어렵고 보조 지표로는 볼 수 있을 것 같음   #3. 검색 필터 기능의 활성화 지표 검색 필터 기능의 활성화 지표 검색 필터 기능은 잘 사용되고 있을까요? 전체 검색을 활용하는 유저중 얼마나 많은 유저가 검색 필터 기능 버튼을 클릭하는지 확인 필터 기능의 활성화 지표 정의 필터 기능 버튼의 클릭율(CTR) 필터 기능 버튼 클릭 수 / 검색을 이용한 유저 수 검색 필터를 활용하는 사람이 구매를 정말 더 잘 일으키는 가? 필터를 하면서까지 무언가를 검색하려는 목적이 분명한 유저? 검색 필터 이후 구매 하기까지 pdp페이지 조회(혹은 구매전까지의 시간)를 더 단축했는지도 해당 기능이 잘 작용하고 있는지의 중요한 부분일 것 같다. 필터를 하는 이유는 나의 조건에 맞는 애들만 적합하게 보기 위함이기 때문 (로그 설계) 필터 기능 버튼들 중 각 버튼에 대한 클릭 로그를 기록해두어야 함 필터 기능 중에서도 어떤 기능을 많이 쓰는지 부가적으로 알 수 있으면 해당 영역을 앞으로 배치하는 등 순서를 새로 정렬 할 수 있음 #4.배달 서비스에서 가장 중요한 지표는? 배달 서비스에서 가장 중요한 지표는 무엇일까요? (MECE) 배달 건수 왜? 배달 건수가 결국 해당 어플에서의 거래액을 만들어내고 매출액이 거래액에서 몇 %의 비중으로 떨어질 것이라고 생각해서 매출과 가장 직결된 지표라는 생각 어떻게 배달 건수를 늘릴 수 있을까?(MECE) 주문자(유저) 주문 건수 추가로 해당 어플을 사용하는 유저의 수를 늘릴 수 있도록 노력한다. 프로모션, 광고 등 신규 유저의 유입 혹은 기존 유저가 재주문 할 수 있도록 유도한다. 보통 주문이 몰리는 점심,저녁이 아닌 아침이나 야식 혹은 간식과 같은 카테고리에 대해 프로모션을 진행해서 주문이 적은 시간에 주문을 늘릴 수 있도록 해본다. 배달이라는 코어를 중심으로 유저 중심에서 언제 배달을 주문하게 될지 고민후 서비스를 개발한다 비마트. 배민스토어 등등 셀러(공급자) 음식점의 평점 해당 서비스의 카테고리별 셀러 수 유저가 선택할 수 있는 선택지인 음식점을 다양하고 많이 제공한다. 배달원(중간 다리) 배달원 한명당 배달에 걸리는 평균 시간 한 배달원이 하루에 처리하는 배달 건수 배달원의 배달 만족도 평점 배달원을 증가 시킴으로써 더 빠른 배달이라는 배달의 질을 높여 유저의 만족도를 높이고 해당 만족도를 기반으로 배달 건수를 늘려볼 수 있지 않을까?   #5.추천 알고리즘의 성능 지표 추천 알고리즘의 성능 지표 추천 알고리즘의 목표: 유저에게 추천이 잘 동작해서 유저가 그 추천 제품을 클릭하게 만드는 것.(관심) 한 단계 더 나아가면 구매 전환을 일으킬 상품까지도 잘 추천했는가? CTR: 직관적으로 상품에 관심이 가면 그 상품을 클릭하게 될테니 상품의 노출대비 클릭이 어느 정도 되었는가로 추천 알고리즘의 성능을 확인할 수 있을것으로 판단된다. CTCVR(ctr*cvr): 추천한 상품이 마음에 들면 유저는 추천 알고리즘을 통해 나온 상품을 구매하게 될테니 추천한 상품이 유저에게 노출대비 얼마나 실제로 구매까지 전환이 되었는지 고려 AUC-ROC #6.자주 사용하는 서비스의 지표 내가 자주 사용하는 서비스의 지표(지그재그) 쇼핑몰 어플의 특성상 구매가 잘 일어나는것도 중요하지만 유저들이 한번 탐색 혹은 경험 후 얼마나 다시 들어와서 탐색 혹은 구매를 다시 일으키는가도 매우 중요한 요소 중 하나임 재방문 횟수 : 처음 가입한 유저가 한달이내에 몇 번 들어오는가 리텐션: 3일 혹은 7일 등 해당 데이터를 살펴본 후 평균 유저의 재방문 주기를 파악하여 해당 일자 기준으로 N-day 리텐션을 계산해본다. 체류시간 : 어플에 머무르는 시간(분단위) 세션 아이디를 수집할 수 있다면 세션 시작 로그와 마지막의 로그 사이의 시간 차를 계산하는 것이 가장 좋음 조건: 중간에 1시간 이상의 차이가 있을 경우 한 세션 안에 그룹을 나눠 체류시간을 계산 구매 건 수: 구매 총 함계 액의 몇 % 비중으로 수수료를 받는것으로 알 고 있음. 단순히 체류하고 자주 방문하는 유저로 부터 구매가 많이 일어나야 좋은 서비스이므로 해당 지표도 같이 봐보자. #7. 퍼널 개선 프로젝트 가입 퍼널 개선 프로젝트(쏘카 케이스 스터디랑 유사하게) 가입 퍼널 프로세스의 전환율: 가입페이지에(A)들어와서 가입을 완료하는 유저의 비율 해당 온보딩 페이지를 추가 한 후 가입 전환율이 개선되었는지 보면 될것 같다. (대조군)현재 가입 퍼널: A → C(가입 정보 기입) → D (가입 완료 페이지) (실험군)온보딩 추가 가입 퍼널: A → B(추가) → C → D C → D로 넘어가는 유저의 비율을 보면 온보딩의 효과를 할 수 있을것 같음 (가드레일) 실험군과 대조군의 A → D의 전환율(예약 페이지의 전환율) : 해당 기능을 추가함으로써 현재 프로세스 전환율에는 크게 영향을 주면 안됨 (가드레일)이탈률: 이거 계산 어떻게 할 수 있지? 1 - (B페이지에서 C로 가는 유저의 비율) 멘탈 시뮬레이션 실험군과 대조군의 A → D의 전환율(예약 페이지의 전환율)에 차이가 크다(온보딩 페이지 추가했더니 이탈률이 급중함) 이럴 경우 실험 중단 이탈률에 큰 차이가 없다면) C → D로 넘어가는 유저의 비율이 실험군에서 더 높다면 실험 성공적 낮다면 유저 세그멘테이션을 쪼개서 생각해보기

카일스쿨 · Answer

안녕하세요 :) 전반적으로 깊은 고민을 하시면서 잘 풀어주셨네요! 잘 푸셨다고 생각되어요! 생각할 수 있는 포인트 위주로 질문드려볼게요   #1. 기능 동작 왜 절대적 수치일까요? 상대 수치는 왜 아닐까요? (밑에 보조로 CTR을 생각해주셨는데, 절대 지표를 보려고 하는 의도가 있을지 궁금하네요 기능이 잘 동작한다를 한번 정의해보면 어떻게 정의할 수 있을까요?   #2. 검색 만족도 지표 CTR, CVR 잘 이야기해주셨네요! 재검색율을 말씀해주셨는데, 재검색이 많으면 좋은걸까요? 나쁜걸까요? 한 세션의 재검색과 일정 주기의 재검색이 다른 느낌일 것 같은데 어떻게 구분할 수 있을까요? (엣지 케이스에 살짝 답해주셨지만 한번 질문해보아요) 검색 관련 지표는 강의에서 다루지 않았지만, 찾아보면 여러가지가 있답니다. 일단 CTR, CVR부터 시작해서 다음과 같은 글을 참고해 다른 지표도 보셔도 좋을 것 같아요 https://velog.io/@mertyn88/%EA%B2%80%EC%83%89-%EB%AA%A8%EB%8D%B8-%ED%8F%89%EA%B0%80-%EC%A7%80%ED%91%9C-%EC%A2%85%EB%A5%98   #3. 검색 필터 기능 활성화지표 이것도 잘 확인해주셨네요! 검색 필터가 구매에 어떤 영향을 미치는가도 확인해보면 매우 좋습니다. 필터 기능 버튼의 클릭율을 더 증가시키려면 무엇을 해야할까요? 어떤 액션 아이템을 해볼 수 있을지 생각해볼까요? (이런 생각도 한번 해보면 좋더라구요) 만약 그 사람이 원하는 제품이 있을 것 같은 상황과 그 사람이 원하는 제품이 없을 것 같은 상황으로 나눠볼 수 있을 것 같네요(필터 기능의 결과에 따른 분기) 로그 설계는 구체적으로 어떤 버튼, 어떤 이름, 파라미터는 무엇으로 할지도 같이 해보시면 좋을 것 같네요! 로그 설계한 내용을 가지고 분석을 이렇게 해보겠다 하면 좋더라구요   #4. 배달 서비스의 지표 지표에 대해 잘 생각해주셨네요! 이걸 위해 메트릭 하이라키를 그려보면 어떻게 그릴 수 있을까요? 배달 서비스에선 주문자와 배달원의 수가 일정하게 유지되는게 핵심입니다. 배달원이 없으면 결국 배달이 어렵거든요. 이런 내용을 토대로 들었을 때는 어떤 지표를 만들어보시겠어요? 추가적인 힌트는 이 글을 보시면 도움이 될거에요 https://www.inflearn.com/questions/809441/%EB%B0%B0%EA%B2%BD%EC%A7%80%EC%8B%9D-%EC%97%86%EC%9D%B4-x27-%EC%84%9C%EB%B9%84%EC%8A%A4%EC%97%90%EC%84%9C-%EA%B0%80%EC%9E%A5-%EC%A4%91%EC%9A%94%ED%95%9C-%EC%A7%80%ED%91%9C-x27-%EC%A0%95%EC%9D%98%ED%95%98%EB%8A%94-%EB%B0%A9%EB%B2%95 #5. 추천 알고리즘 추천 알고리즘 AUC, ROC도 나오고, CTCVR도 나와서 잘 생각하셨네요! 이것도 CTR / CVR 각각의 상황에 따라 다르게 정의할 수도 있을 것 같아요 또한 알고리즘의 평가 지표도 찾아보면 많이 나오는데, 대표적으로 아래 글이 잘 정리해주더라구요 https://velog.io/@redgem92/%EC%B6%94%EC%B2%9C%ED%99%94-%EC%8B%9C%EC%8A%A4%ED%85%9C-04.-%EC%B6%94%EC%B2%9C-%EC%8B%9C%EC%8A%A4%ED%85%9C%EC%9D%98-%ED%8F%89%EA%B0%80-%EC%A7%80%ED%91%9C 알고리즘의 성능 지표는 논문이 많아서 검색해보면서 어떤 것이 맞을지 고민해보면 좋겠다!라는 생각에 문제를 추가했었어요 #6. 서비스의 지표 지그재그 서비스를 잘 모르지만, 말씀하신 지표 외에선 제품을 탐색하는 사람들 중 얼마나 구매하는지 구매 전환율을 볼 것 같아요. 사람들이 얼마나 구매하는가를 보면서 점점 이 지표를 늘려가면 어떨까?라는 생각이 드네요 지그재그만의 도메인 특징이 들어간 지표가 있으면 좋지 않을까 싶네요..! 재방문 횟수, 체류 시간은 어떤 비즈니스에서도 중요할 수도 있지 않을까?라는 생각이 들어 도메인 Specific 지표를 고민해보면 어떨까 싶어요 #7. 퍼널 개선 프로젝트 멘탈 시뮬레이션까지 잘 해보셨네요! 실험을 어떤 것을 해볼 수 있는지 소재도 한번 생각해보면 어떨까요? 실험에 대해 아이디어 떠오르는 것도 많이 해보면 늘어나더라구요!