병현님 안녕하세요. 문제 푸시느라 고생하셨습니다! 이런 생각을 하시는 경험이 쌓여서 역량이 생길 거예요.

이렇게 공부하시고, 제게 감사의 말씀을 전해주셔서 감사합니다. 하나씩 의견을 드려볼게요

#1. 기능이 잘 동작하고 있는지 확인하려면?

지표) CTR(각 기능 클릭 수/페이지 호출 수)

• 잘 동작하는지에 대한 제가 생각하는 정의는 사용자에게 페이지가 노출되었을 때 흥미를 가지고 기능을 클릭하는 것이 잘 동작한다고 생각합니다. 그렇기에 제가 정의한 지표는 위와 같이 CTR(각 기능 클릭 수 / 페이지 호출 수)라고 생각합니다. 페이지 호출 대비 클릭 수가 높을 수록 잘 동작한다고 볼 수 있을거 같습니다.

• 말씀해주신 CTR 지표를 사용해서 확인할 수 있습니다. 조금 더 생각을 해보면, CVR 이란 지표도 보조적으로 같이 확인해도 좋습니다. 여기서 전환 이벤트를 매출 발생으로 정의합니다

  • 어떤 버튼이 클릭이 많이 발생하는지 확인하면서 매출도 발생하는지 확인하는 과정이라고 보면 됩니다

  • 만약 CTR이 높은데 CVR이 낮은 음식 카테고리 / CTR이 낮은데 CVR이 높은 음식 카테고리가 있다면 어떻게 판단하시겠어요?

  • 회사에서는 이런 지표 기반으로 의사 결정을 해야해서 이런 관점으로 고민을 해보시면 좋을 것 같아요

#2. 검색 만족도 지표

지표) 체류 시간(Session별 평균 체류 시간)

• 고객이 검색 기능에 만족했는지 확인하려면 저는 체류 시간을 확인해봐야 된다고 생각합니다. 배달앱의 특징인 고객님이 거주하시는 곳 주변으로 검색이 됩니다. 만약 주변에 찾고하자는 곳이 없는 경우 검색 기능을 제대로 활용할 수 없기에 이와 같은 경우를 제외하고 검색 한 후 클릭한 배달집을 체류한 시간을 Session별로 나누어 확인해봐야된다고 생각합니다.

• 우선 체류 시간을 본다고 하셨는데, 그럼 체류 시간이 증가하는 것이 좋다는 관점인데 줄어드는 것이 좋다는 관점인지 밝히시면 좋습니다(어떻게 해석을 해야하는지에 대한 생각)

• 만약 면접 상황에서 체류 시간이라고 답변을 하고, 면접관이 이렇게 물어보시면 어떻게 답변하실지 생각해보시겠어요?

  • version 1)

    • 검색이 잘 동작하면 오히려 체류 시간이 줄어드는 것 아닌가요?

    • 바로 고객에게 원하는 것을 보여줬고, 빠르게 음식을 주문할 수 있게 되니깐요

  • version 2)

    • 검색이 잘 동작하면 오히려 체류 시간이 늘어나는 것 아닌가요?

    • 원하는 것을 제대로 보여주고, 그 토대로 사람들이 더 음식을 탐색할 수 있게 해주니깐요. 그 과정에서 새로운 음식점을 발굴할 수 있는데 이것도 중요하죠

  • 두가지 모두 나올 수 있을 것 같은데 이에 어떻게 답변할지 고민해보셔요. 실제 면접 대비로 사용할 수 있어요

• 검색이나 추천 같은 알고리즘은 이미 정의된 지표가 있는데, 알고리즘 관점으로 생각한다고 보시면 됩니다. 작성해주신 것은 제품 관점으로 생각한 겁니다

  • 아래 글을 읽어보시면 이해가 되실 것 같아요

  • https://medium.com/musinsa-tech/map-416b5f143943

• 추가적으로 검색 만족도 지표로 많이 나오는 지표는 CTR이긴 합니다. 일단 많은 사람들이 클릭을 해야 의미가 있다는 관점으로 나옵니다.

#3. 검색 필터 기능의 활성화 지표

지표) CTR(필터 클릭 수 / Distinct 유저 별 검색 페이지 노출 수)

• 검색 필터 기능을 잘 사용하는지 확인하고자 지표를 정의한다면 저는 CTR( 필터 클릭 수 / distinct 유저 별 검색 페이지 노출 수)로 정의할 거 같습니다. 검색을 할 때 필터를 사용하는 경우와 사용하지 않는 경우가 있습니다. 만약 고객이 사용한다면 필터를 인지하고 사용한다고 정의할 수 있습니다.

• 왜 Distinct 유저를 분모로 생각하셨나요?

  • 하루에 2시간 간격으로 들어와서 10번 누른 사람이 있다면 이 사람은 어떻게 계산되어야 할까요? 10/1일까요?

  • 참고로 검색 과정에서 검색 완료 => 필터 설정의 흐름을 가지고 있어요

#4. 배달 서비스에서 가장 중요한 지표는?

지표) Funnel

• 배달 서비스에서 가장 중요하게 생각하는 지표는 Funnel이라고 생각합니다. 배달 서비스 앱, 웹을 만들 때 유저 Flow를 토대로 작성하고 개발을 진행합니다. 그와 부합하게 Funnel을 통해 고객이 우리가 의도하는 흐름대로 행동을 하고 도착을 하는지가 가장 중요한 지표라고 생각합니다.

• 제가 생각하는 Funnel에서 고객이 구매까지 도착할 수 있게 확률을 높일 수 있는 방법은 총 두가지입니다.

  • 첫번째, 고객 맞춤 쿠폰 프로모션을 진행하여 구매를 유도하는 것입니다. 고객이 평소 주문하는 카테고리를 토대로 (점심 저녁시간) 알람을 통해 주기별로 쿠폰 안내를 드리면 배달 서비스에 접속하고 주문까지 유도를 할 확률이 높아질 것으로 예상됩니다.

  • 두번째, UI/UX 배치입니다. 배달 서비스를 이용해보면 자신이 찾고자 하는 페이지로 이동해야하는 경우가 있습니다. 이때 deep하게 들어가는 경우가 생기고, 이는 고객의 피로감을 늘릴 수 있습니다. 배치를 통해 deep하게 들어가는 방식에서 중간을 간소화하여 피로감을 줄이고 고객이 편안하게 이용한다면 주문까지 유도될 확률이 높아질 것으로 예상됩니다.

• 이 문제는 "지표"를 물어본 것이고, 퍼널이라는 것은 데이터를 바라보는 관점 중 하나라 생각해요

  • 퍼널이라는 것은 사용자의 여정에서 고객이 행동하는 과정을 단계별로 보여주는 것을 의미합니다.

     

  • 퍼널 관점의 데이터라고 하면 퍼널의 페이지 전환율 등으로 지표로 표현을 해야 합니다

  • 지금은 퍼널이라고 하고, 쿠폰 프로모션이나 UIUX 배치가 나와서 면접에서 이렇게 말을 했다면 논리적 흐름이 자연스럽지 않다고 볼 수도 있을 것 같아요.

• 배달 서비스가 아니더라도 퍼널은 중요하다고 이야기를 할 수 있습니다

  • 배달 서비스의 특징을 고려해서 지표를 선택하면 어떤 것을 해야할까요?

  • Output 지표(매출, 리텐션 등) 가 아닌 Input 지표를 떠올려 보시고, 비즈니스 모델에 대해 고민을 해보시면 좋겠습니다

  • 왜 우리는 배달 서비스를 사용하나요? 라는 질문을 던지고 그 질문의 답을 찾아가시면서 지표를 설정해보세요

  • 퍼널, 리텐션 등의 지표는 모든 서비스에서 중요하다고 주장할 수 있어서 넓은 관점의 답변이라 볼 수도 있어요

     

#5. 추천 알고리즘 성능 지표

지표) CVR(구매 수 / 추천 페이지 클릭 수)

• 제가 생각하는 추천 알고리즘의 성능을 확인하기 위한 지표는 (구매 수 / 추천 페이지 클릭 수)라고 생각합니다. 추천은 비슷한 고객들이 구매한 상품을 토대로 상품을 추천하거나 고객이 주문한 상품과 비슷한 상품을 예측하고 노출하는 방법으로 궁극적인 목적인 구매를 유도하기 위해서라고 생각합니다. 그렇기에 구매로 이어지는 지를 확인해야한다고 생각합니다.

• 말씀하신 것처럼 CVR을 사용할 수 있으나, 구매까지 퍼널이 여러 단계라서 CTR을 사용하는 경우도 많습니다. 실제로 CVR을 구해보면 메인 페이지 기준 3~5%가 안되는 경우도 많거든요. 그래서 CTR을 중점적으로 보면서 보조적으로 CVR을 보기도 합니다

• 추천 알고리즘에 대한 지표는 아래 블로그를 보시면 도움이 될 것 같아요. Precision, Recall의 개념도 알고 계시면 좋습니다

  • https://sungkee-book.tistory.com/11 

#6. 여러분들이 자주 사용하는 서비스 지표

제가 생각하는 서비스) 게임(MMORPG)

중요하게 생각하는 지표) AARRR

• 제가 가장 중요하게 생각하는 지표는 AARRR입니다. 그 중 Activation이 가장 중요하다고 생각합니다. 최근 다양한 상품이 생겨나고 기존 상품과 경쟁할 수 있는 상품들이 많아지고 있습니다. 가령 게임의 경우 타사의 게임만이 경쟁하는 것이 아닌 미디어 플랫폼과도 경쟁을 해야합니다. 그로인해 많은 고객을 유치하기는 어려워졌습니다. 제가 Activation을 중요하게 생각하는 이유가 위와 같은 이유로 고객의 유치는 어렵기에 고객이 상품을 첫경험했을 때 확실하게 잡아야 다른 사람들에게 권유하면서 파급효과를 볼 수 있기 때문입니다.

• 추가로 확인해야 하는 지표) 리텐션, 체류 시간

  • 제가 생각하기에 추가적으로 확인해야 하는 지표 2가지는 리텐션과 체류 시간입니다. 게임에서 가장 중요한 것이 고객들과의 상호작용입니다. 보스 레이드, 경매 등 고객들이 한정된 시간에 많이 있어야지 운영이 가능하고 이탈없이 꾸준히 성장을 하여 비슷한 경험치를 가진 고객들이 같이 성장해야 게임에서 생각하는 흐름이 이어질 수 있습니다.

   

• 퍼널과 유사하게 AARRR은 지표가 아니라 데이터를 바라보는 관점입니다.

  • 그래서 Activation이 중요하다는 것보단 AARRR 관점에서 Activation을 ~~라고 정의해서 ~ 지표가 중요하다고 전개해야 더 자연스러울 것 같습니다

  • 단순히 Activation이라고 하면 추상적이라 이 서비스의 Activation은 어떤 이벤트로 볼 수 있을까를 고민해야 합니다

  • 게임에서 Activation을 무엇일지 고민을 해보시고, 4번과 유사하게 게임에서만 나오는 지표를 생각해보는 것을 추천합니다. 어떤 게임일지에 따라서도 달라지겠죠? 

#7. 퍼널 개선 프로젝트

지표) (가입자 수 / Distinct IP) & A/B Test

• 제가 생각하는 가입 퍼널에서 온보딩의 효과를 파악할 때 봐야하는 지표는 20%로 측정한 지표와 동일하게 봐야된다고 생각합니다. 또한 기존의 기능에서 개선된 기능을 비교하기 위해서는 A/B Test를 진행해야된다고 생각합니다.

• 기존의 지표가 정의되어있지 않기에 (가입자 수 / Distinct IP)로 정의하였습니다. 분모를 Distinct IP로 정의한 이유는 로그인하지 않고 사용자를 특정하기 힘들다고 생각했기에 IP를 이용하여 사용자를 특정해야겠다고 생각했습니다.

• 여기서 20%로 측정한 지표는 어떤 개념일까요?

  • 그리고 분모에 왜 Distinct IP일까요?

  • AB Test 파트를 공부하시고 다시 오시면 어떻게 설계를 해야 하는지를 이해하실 수 있을 거예요.

문제 푸시느라 고생하셨습니다!