投稿した質問数 2

0

Ray Kim님 안녕하세요. 문제 푸느라 고생하셨습니다

작성해주신 내용을 보고 처음 든 생각을 먼저 말씀드릴게요

핵심을 파악하기까지 시간이 오래 걸립니다.

작성해주신 내용이 꽤 있는데, 그래서 핵심이 뭔지 바로 보이지 않습니다. 이 문장들을 보는 사람이 인지적으로 생각을 많이 해야 합니다. 핵심적인 내용을 잘 전달하는 형식으로 작성해보시면 좋을 것 같습니다. 내용은 잘 작성해주셨는데 조금만 더 수정을 해보면 좋을 것 같습니다.

작성해주신 내용

#1. 기능이 잘 동작하고 있는지 확인하려면

각 영역 별 사용자의 인터랙션 및 관심도를 확인하기 위한 콘텐츠 별 CTR 확인

 

전제 조건으로 각 앱 카테고리 요소(배너영역, 메뉴카테고리, etc) 영역이 픽셀기준 사용자에게 노출되면 contents_impression이라는 이벤트가 발생하고 하위 파라미터로 location 디멘젼에 {{카테고리명}}이 적재.
또한, 사용자가 그 세부 콘텐츠를 클릭 시에 contents_click이라는 이벤트가 발생하고 하위 파라미터로 location 디멘젼에 {{카테고리명}} 및 클릭된 콘텐츠의 {{콘텐츠명}}을 click_text로 저장

따라서 contents_impression / contents_click 으로 CTR을 구하고 디멘젼 location과 click_text를 활용하여 사용자 별로 고관여 콘텐츠와 저관여 콘텐츠를 확인하여 해당 데이터를 기반으로 고도화 작업을 진행한다.

저라면

• 목적 : 각 영역 별 사용자의 인터랙션 및 관심도를 확인하기 위한 콘텐츠 별 CTR 확인

• 지표 : CTR(contents_impression / contents_click)

• 지표 정의 근거 :

• 의사 결정 기준

  • 어떻게 의사 결정을 할 것인지 작성

이 부분은 로그 설게가 아니라 "지표 정의"입니다. 따라서 지표를 어떻게 정의했는지가 핵심입니다. 지금은 로그 설계까지 내용을 포함해서 본질적인 부분이 덜 보입니다.

로그 설계를 추가하고 싶다면 전제보다는 아래쪽에 로그 설계라고 따로 뺄 것 같습니다

로그 설계

• contents_impression 이벤트

  • 각 앱 카테고리 요소가 사용자에게 노출시

  • 파라미터

    • location

• contents_click 이벤트

  • 세부 콘텐츠 클릭시 발생

• 자세한 예시는 Tracking Plan 참고

위와 같이 전반적으로 정리해보시는 것을 추천합니다. 과제 작성을 하시는 패턴과 이력서, 포트폴리오도 비슷할 수 있더라구요.

그럼 형태는 차치하고 지표에 대한 피드백을 드리면

#1. 기능이 잘 동작하고 있는지 확인하려면

각 영역 별 사용자의 인터랙션 및 관심도를 확인하기 위한 콘텐츠 별 CTR 확인 

전제 조건으로 각 앱 카테고리 요소(배너영역, 메뉴카테고리, etc) 영역이 픽셀기준 사용자에게 노출되면 contents_impression이라는 이벤트가 발생하고 하위 파라미터로 location 디멘젼에 {{카테고리명}}이 적재.
또한, 사용자가 그 세부 콘텐츠를 클릭 시에 contents_click이라는 이벤트가 발생하고 하위 파라미터로 location 디멘젼에 {{카테고리명}} 및 클릭된 콘텐츠의 {{콘텐츠명}}을 click_text로 저장

따라서 contents_impression / contents_click 으로 CTR을 구하고 디멘젼 location과 click_text를 활용하여 사용자 별로 고관여 콘텐츠와 저관여 콘텐츠를 확인하여 해당 데이터를 기반으로 고도화 작업을 진행한다.

• 이 부분에선 왜 이 지표인지?를 명확히 써주시고

• 지표가 바뀌면 어떻게 의사결정을 할 것인지까지 써주는 것을 추천합니다

• 지표는 명확하게 지표 : XXX 이렇게 쓰는 것이 잘 보일 겁니다.

• CTR로 선택하신 것은 좋습니다

#2. 검색 만족도 지표

먼저 사용자가 검색을 완료하면 search_comp라는 이벤트가 발생하도록 설계 및 검색 완료 페이지에서 해당 상품카드를 클릭시 search_contents_click이벤트가 발생하도록 이벤트 태깅을 한다.

이후 적재된 데이터를 기반으로
search_contents_click / search_comp 비율을 계산. 이후 사용자 디멘젼 active user기준으로 해당 비율을 보게되면 만약 해당 값이 1에 가까울 경우 한번 검색후 바로 상품을 클릭했으므로 비교적 검색 기능이 원활하게 작동했다고 볼 수 있지만, 반대로 낮은 경우 클릭까지 도달하기위해 여러번 검색을 반복했다는 뜻이 되므로 수정보완이 필요하다고 해석이 가능함.

• search_contents_click / search_comp 비율이라는 것을 단어로 표현해야 합니다.

  • 결국 검색 클릭률으로 보이는데, 단어만 더 명시적으로 보이면 좋을 것 같습니다

• 검색 알고리즘에서는 검색이 제대로 나오는지도 중요합니다. 만약 검색 결과가 3개만 나온 경우랑 20개 나온 경우랑 클릭률이 같아도 의미는 달라집니다

• 이런 맥락에서 알고리즘 지표도 봐야 합니다. 아래 글을 참고해보세요

  • https://medium.com/naver-dna-tech-blog/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D%EC%9D%84-%ED%99%9C%EC%9A%A9%ED%95%9C-%EA%B2%80%EC%83%89-%ED%92%88%EC%A7%88-%EC%A7%80%ED%91%9C-%EA%B0%9C%EB%B0%9C-sigir23-paper-recap-6090914005a8

• 추가로 comp가 뭐지?라는 생각이 들었어요. completion의 약자인 것 같은데 로그 설계에서 축약어라면 어떤 단어의 축약인지 처음 써주는 것을 추천합니다

#3. 검색 필터 기능의 활성화 지표

검색 필터의 기능별 활성화 정도를 파악하기 위하여 이벤트 "search_filter_click"를 정의.
트리거 조건은 필터 영역 최상단 요소를 트리거 엘리먼트로 지정하여 하위 요소를 클릭시 이벤트 발생. 하위 디멘전으로 click_text를 수집하여 어떤 필터 요소를 사람들이 많이 사용하는지 그리고 각 필터 카테고리를 filter_category라는 파라미터를 붙여 수집하여 어떤 세부 필터 기능을 상위 카테고리에서 많이 사용하고 덜 사용하는지 데이터 기반으로 확인 가능.
즉, search_filter_click 이벤트 + filter_category + click_text를 event cnt 및 active user 기준으로 확인하여 활성화 상태를 확인.

search_filter_click 이벤트 + filter_category + click_text를 event cnt 및 active user 기준으로 확인라고 해주셨는데 이 문장이 잘 이해가 안되네요. 앞엔 필터 클릭 이벤트고 뒤엔 필터 카테고리에 클릭 텍스트인가요? 이게 문장은 긴데 정확하게 무엇인지 이해가 잘 안갑니다. 이런 경우라면 부가적으로 설명을 추가를 하거나 명시적으로 설명하는 것이 필요합니다.

#4. 배달 서비스에서 가장 중요한 지표는?

"구매 사용자의 리텐션"

1) 첫번째 이유는 배달서비스의 경우 사용주기가 짧은 서비스라고 생각하며, 최초 구매 시점 이후로 반복적으로 플랫폼에서 주문을 해주는 것이 비지니스 차원에서 가장 바람직한 상황이라고 생각한다.

2) 리텐션 증가를 위해서는 서비스 핵심 퍼널 분석을 통해서 어느 구간에서 사용자가 이탈하는지를 확인하여 추가적인 세그먼트 분석 및 기능 개선을 위한 A/B테스트를 진행 및 반영하여 서비스 고도화를 통해 이탈률을 개선한다.

• "배달 서비스"라고 명시한 이유가 있습니다. 지금 리텐션 지표를 제시했는데 리텐션 지표는 Output 지표입니다. 서비스의 핵심 지표가 무엇이냐?라는 질문에 DAU, 리텐션, 매출을 제시할 수 있고 중요한 것은 맞지만 저는 Input Metric을 제시하는 사람이 데이터를 잘 보는 사람이라 생각합니다. Input Metric이 늘어나면 Output Metric도 개선이 될 거라서요.

• 그래서 지금은 배달 서비스의 비즈니스 모델에 대해 고민해보시고 다시 지표를 골라보시면 좋겠습니다. 리텐션에 써주신 부분은 다른 서비스에서 써도 그대로 적용이 되는데, 그러면 Specific한 지표는 아닐 가능성이 큽니다.

#5. 추천 알고리즘의 성능 지표

가장 중요한 것은 추천 알고리즘에 영향을 받은 사용자가 매출로 이어지는 인과관계 분석

1) 추천 기반 매출 비중이 어느정도 되는지?
2) ARPU (사용자 별 평균 구매 금액)
3) AOV(평균 구매 금액)
4) 추천 영역 별 노출 대비 클릭 CTR 지표
5) 클릭 이후 실제 주문으로 이어지는지
recomm_cart_to_order_CVR 지표 확인 "order / add_to_cart" 구매 및 장바구니 이벤트가 존재한다고 가정하고 생각함.
6) END TO END 지표 노출부터 실제 구매 전환 order / impression 즉, CVR 확인 4)-6) 지표는 UU(Unique User) 기준

7) 추천 알고리즘 품질 지표
7-1 : precision : 정확도, 추천 TOP K 중 실제 유저가 선택한 수 / K
7-2 : Recall : 재현율, 사용자가 좋아했던 것 중 얼마나 맞췄는지? , (추천 Top k 중 실제 선택된 개수) / (유저가 좋아한 전체 개수)
7-3 : NDCG: 랭킹품질, 추천 순서를 맞게 했는지 예를 들어 사용자가 선호하는 1,2,3위 중 3위가 햄버거일때 이것을 1번 순서로 추천하지는 않았는지 와 같은 데이터(negative case)

• 매출로 이어지는 인과 관계 분석을 말씀해주셨는데, 이 지표를 보기 위해서라면 구매 CVR을 보는 것이 더 적절합니다. 검색을 하고 실제로 구매했는가?를 보는 것입니다

• Precision, Recall 지표 잘 생각해주셨는데 이는 알고리즘 지표입니다.

• 목표에 따라 제품적인 지표와 알고리즘 지표를 둘 다 생각해볼 수 있으면 좋겠어서 이 문제를 냈습니다.

   

  • 지표는 다 작성해주신 것 같은데 구분을 더 명확하게 해보시면 좋겠습니다. 지표를 마냥 많이 기록한다고 답은 아니라 저기서 핵심 지표가 무엇인지 기록하는 것이 필요할 수 있습니다. 

#6. 여러분들이 자주 사용하는 서비스의 지표

요청사항: 안녕하세요 카일님 저는 ga4 tech 컨설턴트로 N년째 근무하고 이번에 BA로 커리어 전환을 위해 최종면접까지 마치고 결과를 기다리고 있습니다. 이번 면접에서 해당 서비스에서 원하는 것이 분명하게 느껴졌고, 그것은 매출을 데이터 구조화(지표, 매트릭 설계) 가능여부 였습니다.

해당 서비스가 B2B에 TAXTECH라는 특이점이 있고 특히 구매 퍼널 형태가 카카오톡에서 사용자가 동의를 하면 국세청 자료를 가져와 세금 환급 여부를 확인하여 결제를 하는 퍼널인데 실제 구매 완료시에는 백엔드쪽에 데이터가 쌓이는 것 같지만 이런식으로 PG사(카카오톡)가 중간단계에 있어 PA툴로 트랙킹이 어려울 경우 어떤식으로 구매 퍼널 분석을 해야할지 애매하더라구요 조언을 구하고 싶습니다.

아래 내용은 실제 해당 서비스 URL과 제가 생각한 NSM과 INPUT 메트릭을 정의해봤습니다.(하단 7번문제까지 같은 접근 관점으로 작성)

https://www.save-tax.co.kr/

기업 SMB를 대상으로 한 IT 세무 서비스 SAVETAX.

가장 중요한 서비스 지표는 “매출” revenue 이다. 이유는 현재 사업 본부장님과 대표님 모두가 성숙기로 나아가고 있는 서비스에 매출구조를 지표 기반으로 분석하고자 Business analyst를 채용하고 있고, 이 포지션에 지원하여 최종 면접에서 구체적인 니즈를 확인했기 때문.

매출은 OUTPUT 매트릭이므로 이것을 좀더 분해 할 수 있는 지표로

1. 10회 이상 구매한 VIP 사용자 수

2. 구매자 리텐션 (지속적인 구매 의지 및 로얄티 확인)

3. ARPU (사용자 별 평균 구매 금액)

• 이 문제는 스스로 생각을 해보라는 관점에서 만든거라 다른 회사의 면접 대비용 문제를 물어보라는 의도는 아니긴 합니다. 그래서 직접적인 제 생각보단 아이디어 위주로 드릴게요

• 우선 PA 도구로 어려운 제품일 수 있는데, 서버 로그를 찍으면 됩니다. PA 도구는 클라이언트 로그(사용자 관점)인거고 다른 제품과 의존성이 있다면 서버 로그를 찍으면 됩니다. 다른 제품에서 200 신호가 왔을 때 로그 하나 남기는 식으로요.

• 지표를 정의할 때, 위에 피드백 때 말씀드린 것과 동일하게 Output Metric과 Input Metric을 나눠서 생각하면 좋습니다.

  • 지금 제시한 지표는 모두 Output 지표라서 지표를 구조화하는 관점에서 인상 깊다는 생각이 들지 못할겁니다.

  • Input -> Output의 구조를 만들어야 하고 강의에서 메트릭 하이라키 파트를 보는 것도 추천합니다

• 강의에서 "이 제품이 어떤 문제를 해결하려고 하는가?"를 물어보는데 이 질문부터 해야 합니다. 지금 세금 서비스는 고객의 어떤 문제를 해결해주나요? 그거부터 생각하고 지표를 만들어야 합니다

  • 그리고 그거와 관련해서 Output 지표가 있을텐데 그 연결 관계를 보시는게 중요합니다

  • 이 관점에서 기업이 돈을 어떻게 버는지 비즈니스 모델까지 파악하는게 필요합니다

#7. 퍼널 개선 프로젝트
위 서비스에서 구매 퍼널 프로 세스 전환율이 20%이고 온보딩을 위한 새로운 기능의 성능 평가를 위한 지표.

만약 온보딩 서비스가 웹페이지고 step별로 나눠줘있는 경우라고 가정하면, STEP1부터 STEP5 까지의 퍼널 전환율 지표를 확인 (Unique User 기준)

• step1_to_step2_CVR = step2 / step1

• step2_to_step3_CVR = step3 / step2

• step3_to_step4_CVR = step3 / step4

• step4_to_step5_CVR = step4 / step5

• step1_to_step5_CVR = step5 / step1

온보딩을 완료한 사용자 기준 구매 전환율 확인 지표

• 구매수 / onboarding_comp

온보딩을 완료한 사용자의 일별 리텐션 daily 지표

• 저라면 온보딩과 구매는 매우 멀리 떨어졌기 때문에 구매를 고려하는 CVR보단 일단 CTR로 다음 페이지까지 갔는지를 보거나 온보딩을 끝냈는지만 볼 것 같습니다.

• 리텐션 지표는 왜 생각하셨나요? 지표 선택을 하면 근거가 있어야 합니다.

0

안녕하세요, 인프런 AI 인턴입니다.

Ray Kim님, 주어진 질문에서는 다양한 서비스 및 기능에 대한 지표 설정에 대해 논의하고 있습니다. 각 기능의 성능을 측정하기 위한 지표로 CTR, CVR, 리텐션 등 지표를 설정하는 것은 매우 중요합니다. 이러한 지표들은 각각의 기능이나 서비스의 성공 여부를 판단하고, 필요 시 개선 방향을 제시할 수 있는 중요한 역할을 합니다.

1. CTR (Click-Through Rate, 클릭률): 콘텐츠 노출과 클릭 간의 비율을 통해 사용자 관심도를 측정할 수 있으며, 이를 통해 어떤 콘텐츠가 보다 효과적으로 사용자에게 도달하고 있는지 판단할 수 있습니다.

2. CVR (Conversion Rate, 전환율): 콘텐츠 노출부터 실제 구매로 이어지는 과정을 추적함으로써, 추천 알고리즘의 효과성 또는 구매 퍼널의 효율성을 평가할 수 있습니다.

3. 리텐션: 특정 서비스의 지속 사용 여부를 추적함으로써, 사용자 만족도를 높이고 충성도를 강화하는 전략을 세우는 데 유용합니다.

각 지표를 기반으로 사용자 행동 데이터를 분석하고, 해당 데이터를 활용해 기능 개선 및 사용자 경험을 향상시킬 수 있도록 지속적인 모니터링과 A/B 테스트를 수행하는 것이 좋습니다.

추가적으로 관련 리소스를 살펴보시려면 다음의 Kafka 문서에서 모니터링 관련 정보를 참고하실 수 있습니다:

• Kafka Streams Monitoring – 스트림 모니터링 관련 지표들을 이해하는 데 도움이 될 수 있습니다.
  

이러한 접근 방법이 질문하신 다양한 지표 설정 및 분석에 도움이 되길 바랍니다. 추가적인 질문이나 더 필요한 부분이 있으시면 언제든지 말씀해 주세요!