인프런 커뮤니티 질문&답변

안녕하세요! 문제 푸시느라 고생하셨습니다!. GPT 도움 없이 풀었다는 점 너무 멋지십니다. 이렇게 하고 나중에 AI와 이야기를 하면 더 많이 발전할 수 있을 거예요.

#1. 기능이 잘 동작하고 있는지 확인하려면?
배달 서비스를 담당하는 PM입니다. 배너 영역, 메뉴 카테고리, 이런 음식 어때요, 동네 맛집 기능이 잘 동작하고 있는지 확인하려면 어떤 지표를 확인해야 할까요? 지표를 정의하고, 지표가 어떤식으로 움직이면 잘 동작한다고 볼 수 있을까요?

성과 지표: DAU 리텐션 (각 영역이 잘 동작하면 -> 사용자 만족도가 높아짐 -> 재접속)

보조 지표: 한 세션의 앱 체류 시간이 점점 길어지는 형태

가드레일 지표: 수익이 떨어지면 안됨

1번 문제는 "배달" 서비스로 한정한 이유가 있습니다. 보통 지표를 정의해보라고 하면 많이 나오는 것 중 하나가 DAU, 리텐션인데 이건 Output 지표라서 어떤 Action을 해야할지 구체적으로 나오기 어렵습니다. Input Metric을 지표로 정의를 해주면 무엇을 해야 할지에 대한 아이디어를 떠올리기 쉽습니다.

지금 DAU 리텐션이라고 해주셨는데, 이건 어떤 지표일까요? 어떤 정의일까요? DAU와 리텐션은 별개의 지표인데 합쳐서 말씀해주셔서 정의를 명확히 제시해주는 것이 필요할 것 같습니다.

저는 지표를 말할 때는 분자와 분모로 구성하고, 지표가 어떤 것을 의미하는지 한줄로 정리하는 것을 습관으로 합니다. 이렇게 하지 않으면 보는 사람마다 다르게 해석할 수 있기 때문입니다.

보조 지표에서도 지표로 표현하는 것보단, 체류 시간이 점점 길어지는 형태라고 해주셨습니다. 체류 시간이 늘어나길 바라는 바람을 작성해주신 것 같아요.

지표에는 정의만 있고, 이 지표가 어떻게 될지에 대해서는 추가적인 부분에 생각을 작성해보는 것을 추천드려요.

#2. 검색 만족도 지표

배달 서비스를 담당하는 PM입니다. 고객이 검색 기능에 만족했는지 확인하려면 어떤 지표를 봐야 할까요? 검색하는 흐름을 떠올려보면서 그 안에 있는 이벤트를 조합해보세요

검색 필드 클릭 후 구매까지 CVR은 지표가 꽤 낮게 나올 수 있기 때문에, CVR을 먼저 보지 않고 CTR을 성과 지표로 보는 경우도 있습니다. 검색 -> 결제 사이의 퍼널이 많이 존재한다면 CTR을 토대로 판단하기도 합니다. 이건 회사의 상황에 따라 결정할 문제긴 하지만, CVR은 지표가 10% 미만으로 나오는 것을 많이 봐서, 변동폭이 작기에 CTR을 보는 경우도 있습니다.

검색이라는 것은 단순히 제품 관점 외에 알고리즘 관점에서도 지표를 선정할 수 있는데, 네이버의 글을 참고해보시면 이해의 폭이 더 넓어질 수 있을 것 같아요.

https://medium.com/naver-dna-tech-blog/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D%EC%9D%84-%ED%99%9C%EC%9A%A9%ED%95%9C-%EA%B2%80%EC%83%89-%ED%92%88%EC%A7%88-%EC%A7%80%ED%91%9C-%EA%B0%9C%EB%B0%9C-sigir23-paper-recap-6090914005a8

가드레일 지표에서 UV 수가 떨어지면 안된다고 생각하는 이유는 무엇인가요? UV 수는 떨어질 가능성이 있을 것 같은데 이렇게 생각ㅎ신 이유가 궁금하네요

#3. 검색 필터 기능의 활성화 지표

검색 결과 상단에 위치할수록이라고 해주셨는데, 그럼 상단의 정의는 무엇일까요? 상위 5개일까요? 만약 유저가 스크롤을 해서 총 40개를 봤어도 상위는 5개일까요? (물론 써주신 것은 최상단이라고 해주셔서 제일 높을 것이라는 가정하에 하신거라 이건 잘 생각해주셨고, 단어 하나에 대한 정의도 중요하다는 것을 공유드리고 싶어서 질문드려요)

#4. 배달 서비스에서 가장 중요한 지표는?

아마 DAU 리텐션이 계속 나오는 것으로 보아.. "주문 완료 리텐션"을 DAU 리텐션으로 표시하셨나 싶네요. DAU랑 리텐션의 개념이 정확히 정립이 되었는지 고민해보시면 좋을 것 같아요.

배달 서비스에서 가장 중요한 지표는 비즈니스 모델을 제대로 이해해야 합니다. 비즈니스 모델에서 어떤 행위가 핵심적인 행위인가? 고민해보고 그 행위에 대한 지표를 추가하면 됩니다. 저라면 주문 완료 수를 본다고 할 것 같네요. 주문이라는 행위가 배달 서비스를 사용하는 근본적인 이유니깐요.

CX 해결 리드타임 1시간 이내를 정의하신 이유는 무엇일까요?

반복되는 패턴을 인지하셨을텐데 이 지표를 왜 선택했는지도 같이 명시하면 좋을 수 있답니다. 제가 아니여도 회사에서 동료들이 물어볼 수 있는 관점이라서요

배달 서비스가 잘 되려면에서 ROI가 좋아야 한다고 해주셨는데 ROI는 무엇일까요? Return On Invest의 약자인 것은 아는데 여기서 R과 I는 무엇일까요? 지표 정의를 할 때는 Specific하게 구체적으로 해주는 것이 필요합니다.

공급과 수요가 많아야 함도 조금 더 구체적으로 해보면 좋은데, 월별 신규 음식점 입점 수와 사용자의 앱 사용 DAU가 많아야 한다 이렇게 지표까지 표현을 해보시면 좋을 것 같아요. 공급/수요는 지표라고 보긴 어려울 수 있을 것 같아요.

적은 광고 비용으로 음식점을 입점시키려면 -> 글에서 갑자기 광고 비용은 왜 나왔을까요? 위에 지표에서 광고에 대한 내용이 없는데 갑자기 나왔네요!

#5. 추천 알고리즘의 성능 지표

말씀해주시는 CVR을 사용할 수 있고, 추천 시스템도 알고리즘이라서 알고리즘의 지표들이 있습니다. 아래 정리된 글을 한번 읽어보시면 도움이 될 것 같아요.

https://lsjsj92.tistory.com/663

그리고 가드레일 지표에서 객단가는 떨어지면 안됨이라고 했는데, 현실적으로 실험을 할 때 지표가 떨어질 수도 있긴 합니다. 그래서 객단가는 5% 이내의 변동만 허용한다 같이 범위까지 더 추가해주시면 좋답니다

스크롤 깊이에서 30%를 말씀하게 된 이유는 무엇일까요? 어떻게 정해진 수치일까요?

#6. 여러분들이 자주 사용하는 서비스의 지표

비즈니스 모델에 대해 쪼개보신 것 같고, 광고 수익을 올리기 위해서는 체류 시간이 중요한 것은 맞을 것 같고 구독료를 올리기 위해선 어떻게 해야 할까요? 체류 시간이 높다고 구독을 더 할 것이라고 가정하셨는데 어떤 근거로 생각하셨나요?

#7. 퍼널 개선 프로젝트

이 문제는 질문에 나온 전환율을 바라보되, AB Test를 해봐야 합니다. 실험 파트를 보신 후에 다시 문제를 살펴보시면 아이디어가 떠오를 것 같아요!

문제 푸시느라 고생하셨습니다. 궁금한 내용이 있으시면 말씀해주셔요!

dev님 안녕하세요! 어떻게 답변을 드릴지 고민하고 있어요. 오늘~내일 중으로 답변 드릴게요!