안녕하십니까.

4-8 지표 정의 연습 문제에서 피드백받은 부분을 더하여 데이터 로그 설계를 하였습니다. 문제점이 있으면 지적해주시면 감사하겠습니다.

1. 기능이 잘 동작하고 있는지 확인하려면?

지표) CTR(기능 클릭 수 / 메인 페이지 호출 수)

보조 지표) CVR(기능 클릭을 통해 구매한 수 / 기능 클릭 수), 기능 클릭 비율(각 기능 클릭 수 / 전체 기능 클릭 수)

지표 선정 이유

• 메인 지표: CTR은 기업이 설정한 사용자 행동 패턴을 원할하게 이행을 하고 있는지 파악할 수 있는 지표입니다. 즉, 사용자가 해당 기능에 흥미를 가지고 클릭을 하고 사용을 하는지를 확인할 수 있습니다.

• 보조 지표: CVR은 해당 기능을 통해 최종적으로 매출을 발생하는지를 확인할 수 있습니다. 또한, 기능 클릭 비율을 통해 사용자가 주로 사용하는 기능이 무엇인지 파악할 수 있습니다.

Problem & Action

case1) CTR은 높으나 CVR은 낮은 경우 -> 구매까지의 프로세스 탐색(구매 프로세스 피로도 개선)

case2) CTR은 낮으나 CVR은 높은 경우 -> 기능 개선 방안 탐색(ex. 위치 조정, 메시지 문구 개선 등)

case3) 특정 기능 클릭 비율이 낮은 경우 -> 해당 기능 클릭을 높이는 방안 탐색

계산

CTR

분자)

• click_home_function

  • event_parameter

    • session_id

    • user_id

    • timestamp

    • home_function_id

    • home_function_type

분모)

• view_home

  • event_parameter

    • session_id

    • user_id

    • timestamp

CVR

분자)

• view_restaurant

  • event_parameter

    • session_id

    • user_id

    • timestamp

    • restaurant_id

    • restaurant_name

    • restaurant_category

    • use_home_function

    • use_home_function_type

분모)

• click_payment

  • event_paramter

    • session_id

    • user_id

    • timestamp

    • payment_id

    • payment_amount

    • payment_type

    • use_home_function

    • use_home_function_type

2. 검색 만족도 지표

지표) mAP(mean Average Precision)

보조 지표) CTR(검색 결과 클릭 수 / 검색 결과 페이지 호출 수)

지표 선정 이유

• 메인 지표: mAP는 상위로 노출되는 순으로 가중치를 두어 사용자가 클릭을 한 위치를 점수화하여 평균을 낸 방법입니다. 즉, 클릭을 한 상품의 순서를 고려할 수 있습니다.

• 보조 지표: 사용자가 검색을 하고 원하는 검색 결과가 나왔다면 클릭을 할 것입니다. 즉, CTR을 통해 사용자가 얼마나 결과를 만족하고 클릭을 하였는지 비율을 확인할 수 있습니다.

Problem & Action

case1) mAP가 낮은 경우 -> AP가 낮은 사용자를 분리하여 사용자 행동 탐색(사용자 특성 분석)

case2) AP가 모두 낮은 경우 -> 검색 알고리즘 개선 방안 탐색(ex. 배달료 가중치 조정, 사용자 선호 카테고리 조정 등)

case3) CTR이 낮은 경우 -> 검색 결과와 유사한 음식 추천 유도 기능 설계, UI 개선

계산

mAP

with base as (
	select 
		search_session_id,
		search_list_rank,
		case
		      when restaurant_id is not null then 1 else 0
		end as  is_relevant
	from click_search_list
),
search_rank as (
	select 
		search_session_id,
		search_list_rank,
		sum(is_relevant) over (
		partition by search_session_id order by rank
		) as rel_k
	from base
        where is_relevant = 1
),
search_table as (
	select
		search_session_id,
                rel_k/rank as precision_k
        from search_rank
),
precision_table as (
        select
                search_session_id,
                round(avg(precision_k), 4) as average_precision
        from search_table
        group by search_session_id
)

select
    round(avg(average_precision),4)
from precision_table;

CTR

분자)

• click_search_list

  • event_parameter

    • session_id

    • search_session_id

    • user_id

    • timestamp

    • search_word

    • search_list_rank

    • restaurant_id

    • restaurnat_name

    • restaurnat_category

분모)

• view_search

  • event_parameter

    • session_id

    • user_id

    • timestamp

    • search_word

3. 검색 필터 기능의 활성화 지표

지표) CTR(필터 기능 클릭 수 / 검색 결과 페이지 호출 수)

보조 지표) 필터 기능 비율(각 필터 기능 클릭 수 / 전체 필터 클릭 수)

지표 선정 이유

• 메인 지표: CTR은 통해 사용자가 검색 결과 페이지에서 필터기능을 인지하고 사용하는지를 비율을 통해 확인할 수 있습니다.

• 보조 지표: 필터 기능 비율을 통해 사용자가 어떤 필터 기능을 많이 사용하는지를 확인할 수 있습니다. 이를 통해 사용자가 어떤 기능을 선호하는 지 알 수 있습니다.

Problem & Action

case1) CTR이 낮은 경우 -> 필터기능을 모를 것으로 예상, 튜토리얼 기능을 넣어 필터기능을 인지 시키기

case2) 특정 필터 기능 비율이 낮은 경우 -> 특정 필터의 필요성 점검

계산

CTR

분자)

• click_filter

  • event_parameter

    • session_id

    • user_id

    • timestamp

    • filter_type

    • filter_values

분모)

• view_search

  • event_parameter

    • session_id

    • user_id

    • timestamp

    • search_word

필터 기능 비율

with table as (

	select 

		filter_type,

		filter_values,

		sum(filter_values) as score

	from click_filter

	group by filter_type,

		     filter_values

	)

select 

	filter_type,

	filter_values,

	round(percent_rank() over (order by score desc) * 100, 2) as percentile

from table

order by percentile desc;