인프런 커뮤니티 질문&답변

안녕하세요! 우선 질 좋은 강의 제공해주셔서 감사드립니다. 저는 3년차 UXUI디자이너이고, 이번에 프로덕트 디자이너로써 회사에서 요구하는 데이터 리터러시 역량을 키우기 위해 수강하고 있습니다. 4-8 지표 정의 연습문제 풀어보았는데요, 생각이 너무 많은 것인지 3일동안이나 고심해서 해봤는데 맞는 방향인지 잘 모르겠네요. 피드백 해주시면 감사할 것 같습니다! (양이 너무 많다면 한두개 정도만 해주셔도 도움이 많이 될 것 같습니다, 감사합니다)

연습문제 #1. 기능이 잘 동작하고 있는지 확인하려면?

각 영역에 대한 목적정의

• 공통목적: 우선적으로는 사용자가 음식점 및 메뉴를 탐색 및 발견할 수 있도록 해주는 것이고, 결과적으로는 장바구니에 넣고 결제까지 이어지도록 해주는 것.

• 배너: 다양한 프로모션, 할인혜택 등을 확인하고 ‘이벤트성 혜택'을 제공

• 메뉴 카테고리: 사용자가 특정 메뉴를 탐색할 시 카테고리 진입을 통해 탐색 범위를 좁혀줌

• 이런 음식은 어때요?: (사용자 데이터를 기반으로 추천한다고 가정) 사용자가 자주 먹는 음식이나 들여다보았던 메뉴 등을 추천하여 반복탐색과정의 피로를 줄임

• 동네맛집: 픽업을 하거나, 배달소요시간이 중요하거나, 위치에 따라 적어지는 배달료등을 중요하게 생각하는 사용자에게 위치정보를 최우선적으로 고려한 가맹점을 보여줌

확인해야할 지표와 정의

A. 각 영역(배너, 메뉴카테고리, 음식추천, 동네맛집) 별 공통 지표

1. 영역별 CTR

   1. 지표정의: 홈 화면 영역별 CTR (영역 클릭 / pv)

       

   2. 이유: 관심 및 반응 확인을 확인하게 위함

       

   3. 잘 동작한다의 시그널: CTR이 상승 및 유지. 그러나 다음 나올 2,3번도 같이 좋아져야 유효.

2. 각 영역 클릭 → 다음 퍼널 진입률

   1. 지표정의: (홈)영역클릭 - (음식점 화면, 세부화면, 장바구니 화면 등등) - 결제완료 퍼널

       

   2. 이유: 특정 퍼널 진입 후 다음 단계로 전환율이 낮을 경우 어떤 지점에서 이탈하는지 파악하기 위함

3. 영역 유입 주문 전환율

   1. 정의: 영역 별 주문 CVR (주문완료/영역 유입 수)

       

   2. 이유: 해당 영역이 실제 결과인 ‘주문'에 기여하는지 확인하기 위함

4. 영역 유입 주문/매출 기여 (Output)

   1. 정의: 매출 (영역 유입 매출 / 전체 매출)

       

   2. 이유: CTR이 낮더라도 매출기여가 크면 전략적으로 중요한 영역일 수 도 있음

B. 영역별 보조지표 (Sub Metric)

1. 배너(프로모션/혜택)

   1. 지표) 혜택적용율 (혜택적용/주문완료)

       

   2. 이유) CTR은 상승하나 실제 주문완료율과 함께 혜택적용율이 적으면 혜택 등의 안내가 잘 안될 가능성이 있음

2. 이런 음식 어때요? (목적: 사용자기반 추천을 통해 반복탐색과정의 피로를 줄임)

   1. 지표) 주문까지 걸리는 시간 (이런음식 어때요 영역 클릭 후 주문까지의 duration time / average 주문완료시간)

       

   2. 이유) ‘피로 감소'의 목적을 달성하는지 평균 주문시간과 비교하여 정량적으로 확인하기 위함

3. 동네맛집

   1. 지표) 동네맛집의 평균 배달비 (동네맛집의 평균 배달비/전체 평균 배달비)

       

   2. 지표) 동네맛집 평균 주문완료율 (동네맛집의 주문완료율 / 전체 주문완료율)

       

   3. 이유) ‘거리/시간/배달료가 중요한 사용자에게 제공하는 것이 목적' 이라는 가설을 정량화하여 검증하기 위해 해당 가치들이 실제 선택으로 이어지는지 확인하기 위함

C. 가드레일 지표

1. 전체 주문 전환율 (홈→주문완료)

2. 리텐션

이유: 장기적으로 주문 전환율이 줄고 이탈율이 발생하면 안됨 (배달 앱 특성 상 전환율이 낮은데 매출이 상승하는 전략을 기대하기 어렵다고 생각하고, 유저의 수 가 더 직접적으로 매출과 직결될 것 같다는 가설을 세워봄)

연습 문제 #2. 검색만족도 지표

검색 기능의 목적: 사용자가 입력한 쿼리에 대해 원하는 메뉴/음식점을 빠르고 정확하게 찾도록 돕는 것.
---
사용자의 검색 흐름:
검색 키워드 입력 - 검색결과 탐색 - 결과 클릭 - 음식점/메뉴 상세 - 장바구니 담기 - 주문완료
---
검색 기능에 대한 만족의 정의:

1. 원하는 결과를 찾는 것

2. 최소한의 탐색만으로 해결이 되는 것

3. 재검색을 반복하지 않는 것

4. 검색이 주문까지 이어지는 것

---
만족했는지 확인하기 위한 메인 지표:

1. 재검색율 (재검색 세션 수 / 검색 세션 수)

2. 지표 선정 이유: 재검색 세션 수가 낮을 수록 검색결과가 정확하게 나왔다고 해석할 수 있음, 반대로 많으면 사용자가 기대하는 결과와 불일치 한다고 생각할 수 있음

3. 검색 - 주문 전환율 (검색 세션 중 주문 완료 수 / 검색 세션 수)

4. 지표 선정 이유: 검색 결과가 실제 주문(행동)으로 이어지는지 확인하기 위함

   • 고려사항: 가격이나 리뷰 등 요소나 주문 전까지의 ux요소 등 검색-주문 퍼널에서 전환율에 영향을 주는 다른 변수들이 존재할 가능성이 높기 때문에 단독 사용 시 해석의 오류가 있을 수 있을 것 같음

---

보조지표

1. 검색 페이지 내 상위 결과 클릭률 (Top 3 결과 클릭 수 / 검색 세션 수)

2. 지표선정이유: 상위에 사용자의 의도와 일치하는 결과가 배치되었는지 확인하기 위함 (결과 정확도 측면)

3. 세션 당 평균 검색 횟수 (검색 수 / 검색 세션 수)

4. 지표선정이유: 1번과 비슷한 이유 (결과 정확도 측면)

---
가드레일 지표

1. 전체 주문 전환율

2. 전체 리텐션

지표선정이유: 검색 최적화가 다른 퍼널에 악영향을 주지 않는지 확인.

연습 문제 #3. 검색 필터 기능의 활성화 지표

검색필터의 목적 정의:
검색 결과의 적합도를 높여 탐색 시간을 줄이고 재검색을 감소시키며 주문 전환율을 높이는 것

성공지표:

1. 필터 사용 세션의 재검색률 (필터 사용 세션 중 재검색 발생 세션 수 / 필터 사용 세션 수) -실제로 필터가 정확도 높은 결과를 제공하는지 알기위함.

2. 필터 사용 세션 재검색율 vs 필터 미사용 재검색율 - 필터를 통한 결과가 유의미한지 알기위함

3. 필터 사용 세션의 장바구니 전환율 (필터 사용 세션 중 장바구니 전환 수 / 필터 사용 세션 수) - 필터가 구매의사 결정에 실제로 영향을 주는지 알기위함

보조지표:

1. 필터 사용률 (필터 적용 수 / 검색 세션 수)

2. 검색-장바구니에서의 필터 사용 세션 duration (필터 사용 세션의 평균 duration / 전체 평균 duration)

가드레일 지표:

1. 전체 주문 전환율

2. 전체 매출

3. 검색 미사용 세션 전환율

4. 리텐션

    

연습 문제 #4. 배달 서비스에서 가장 중요한 지표는?

배달 서비스에서 가장 중요한 지표란 뭘까?
보편적으로 가장 중요하다는 것은 해당 지표의 영향으로 인해 output metric이 긍정적으로 상승한다는 것 (매출, 리텐션 등)일 것이다. 배달 서비스는 트래픽이 유지되어야 가맹점들도 사용할 것 이고, 가맹점 수가 많아야 트래픽도 유지될 것 인데, 줄어드는 순간 시스템적으로 성장이 힘들고 정체할 가능성이 있으며 리텐션에도 영향을 줄 수 있다는 가설을 세움.

중요한 지표:

1. 주문 빈도 (Active User 당 주문 수)

2. 주문 수 (전체 주문 수)

이유: 사용자 규모, 리텐션, 구매의도를 종합적으로 반영한 지표라고 생각.

위 지표들을 어떻게 늘릴 수 (줄일 수) 있을까요?

• 퍼널 분석을 통해 이탈률이 높은 지점을 파악하고 이 지점의 문제를 정의하고 성공지표를 정의한 뒤, 해당 지표 달성을 위한 서비스 개선을 해야함.

• 구체적으로는, 검색/탐색 퍼널을 최적화 시켜서 첫 주문 전환율을 개선시킨다거나, 개인화 추천 및 프로모션을 최적화 한다거나, 재주문 UX 개선으로 주문빈도를 늘린다거나 등.

연습 문제 #5. 추천 알고리즘의 성능 지표

추천알고리즘의 성능을 확인한다는 것 = 추천알고리즘기능의 목표를 달성하냐는 것.
추천알고리즘의 목적 : 유저의 정보와 유저 로그를 토대로 구매할 것 같은 제품을 보여줌


추천알고리즘이 제대로 작동한다는 것 은?

1. 유저의 정보를 제대로 파악?

2. 유저의 로그를 제대로 파악?

3. 유저의 정보 및 로그가 추천하는 제품과의 연관성이 뚜렷함?

4. 유저가 추천 제품에 관심을 가짐?

5. 유저가 추천받은 제품이 실제 구매로 이어짐?

6. 구매로 많이 이어짐?

7. 유저가 추천 제품에 관심은 보였지만 실제 구매는 안함?

8. 추천 제품이 자연 탐색 제품 대비 구매율을 높임?

이 것들을 확인하기 위해 어떤 지표를 파악해야할까요? 왜 해당 지표일까요?

메인지표:

1. 추천 제품 CTR/pv (추천제품의 1차적인 관심도를 확인하기 위함)

2. 추천제품유입 구매 CVR (추천 제품 유입 구매율/전체구매율) - 실제 추천 제품이 구매까지 이어지는지 확인하기 위함

보조지표:

1. 추천 노출 제품의 구매율 (추천노출제품 구매율 / 추천 노출 수)

2. 자연 노출 제품의 구매율 (자연 노출 제품의 구매율 / 추천 미노출 수)

지표해석 (멘탈시뮬):

1. 만약 CTR은 높지만 CVR이 낮다면, 관심도는 높지만 실제로 구매까지 전환되지는 않는다는 것이고, 전환이 안된다는 것은 제품 클릭 전 initial기대치가 상세에서 충족되지 못하거나, 실제 가격, 배송비 등 다양한 변수 때문에 전환이 안된다고 가설을 세울 수 있음

2. 만약 CTR이 낮은데 CVR이 높다면 실제로 알고리즘은 잘 작동하지만 초반에 사용자의 관심을 제대로 끌지 못할 가능성이 있음. 이를 위해 관심을 더 끌기위한 전략을 세울 수 있을 것 같음.

3. 만약 CTR과 CVR이 모두 낮다면, 사용자가 추천제품에 관심이 없다는 뜻이고, 그렇다는 건 알고리즘이 제대로 작동하지 않는다고도 해석 할 수 있음.

연습 문제 #6. 자주 사용하는 서비스의 지표

자주 사용하는 서비스: 오늘수거
서비스개요: 사용자가 문 밖에 쓰레기봉투 안에 쓰레기를 넣고 수거요청을 하면, 밤 10시 이후 쓰레기를 수거해가고 무게에 따라 사용자에게 요금을 청구함.

북극성지표: 우선 이 서비스의 북극성 지표는 반복사용과 연관된 지표일 것 같음. 우선 이 서비스의 수익 구조는 (활성 사용자 수 x 사용자당 수거 빈도 x 평균수거금액) 임. 그렇기 때문에 이 서비스는 사용이 해빗화가 되어야하고 (반복 사용), 생활 습관에 녹아들어야하는게 중요함. 그래서 결국 ‘반복 수거 신청'이 제일 중요할 거 같고, 또 쓰레기를 버리는 루틴을 봤을 때 주간 사용자들을 보는게 중요할 것 같음. 그래서 북극성 지표는 ‘WAU 중 주간 신청 완료율 (주간 수거 신청 완료 수 / 주간 활성 사용자 수)로 정의할 것 같음.

메인 지표:

1. 수거 신청완료 전환율 (수거신청 완료 수 / 수거신청버튼 클릭 수)

2. 주간 리텐션

보조지표:

1. 수거신청버튼 CTR (수거신청 버튼 클릭 수/ 홈 uv)

2. 혜택 사용 수거신청 CVR (혜택사용수거신청 수 / 전체 수거신청 수)

연습 문제 #7. 퍼널 개선 프로젝트

현재 가입 퍼널 프로세스의 전환율: 20%
미션

1. 가입 퍼널을 개선해야함

2. 온보딩 기능의 효과를 파악해야함

미션을 달성한다면?

1. 온보딩 기능이 효과적이고 가입 퍼널이 개선된다면? - 가입 완료율이 높아지고, 가입한 사용자의 ‘질'이 높을 것 (질이 낮은 사용자는 바로 이탈하거나, 유령사용자 등)

지표상으로 어떻게 파악해야 하나?

1. 메인지표: 가입 CVR (가입완료 수 / uv)

2. 보조지표: 온보딩 퍼널 단계별 전환율

   1. 온보딩 진입 수 / 이전 단계 수

   2. 온보딩 완료 수 / 온보딩 진입 수

   3. 가입 완료 수 / 온보딩 완료 수

가드레일 지표:

1. 가입 완료 후 초기 활성화 (가입 후 일주일 내 서비스 사용 수 / 가입완료수)

감사합니다!