최종 과제 제출

상우님 안녕하세요! 내용 확인하고 있어요. 꼼꼼하게 보느라 시간이 걸리는데 조만간 피드백 드려볼게요!

질문있습니다!

안녕하세요. 회사마다 다양한 방식으로 할텐데해당 프로젝트를 통해 얼마나 임팩트를 가지고 올 수 있을지 추산하는 과정을 거칩니다. 예를 들어 특정 페이지에 접속하는 유저(특정 기능을 사용한 유저)가 100명이고, 그 중 30%만 구매하는데, 그 유저들의 평균 구매 금액이 3만원이다. 이런 상황에 70%에게 더 판매를 할 수 있는 기능을 만들면 얼마의 임팩트를 줄 수 있다 등으로 계산할 수 있어요(실제론 더 복잡하게 계산할 수 있는데 간단하게 설명드린거라고 보시면 됩니다) ICE 방법론이라고 Impact, Confidence, Ease 로 분류해서 각 Task가 몇점인지 파악하는 방법도 존재합니다. 이것은 방법론이 중요한 것이 아니라 조직 내에서 어떤 것을 먼저 할 지 의사결정하는 기준이 필요한 것이라고 생각해주시면 될 것 같네요 회사의 전략 상황에서 먼저 하면 좋은 것들은 먼저 할 수도 있고, 어떤 회사는 탑다운으로 위에서 시키는 것을 해야하는 경우도 있고, 어떤 회사는 바텀업으로 할 일을 공유해서 하는 회사도 있을 거예요. 회사의 방향성과 문화에 따라서도 달라서 정해진 부분은 없는 것 같아요 저는 현재 회사의 전략에 부합하는 것들 위주로 하고, 현재 전사 목표가 매출 증진이면 매출을 증진하는 것들을 먼저 해봅니다. 그 과정에서 걸리는 시간도 파악하고, 예상 임팩트도 계산해서 시간 대비 임팩트가 큰 것부터 진행하곤 합니다. 추정을 하는 것은 아래 영상의 페르미 추정 부분을 살펴보시면 도움이 될 거예요https://www.youtube.com/watch?v=axZLFQjrFKM

1-2. 제품(Product) 화면이 안보여요

검정화면이 뜨는 것은 녹화 프로그램이 감지된 경우에 뜬다고 해요. 참고해주셔요

쿼리 화면 문의

안녕하세요. 강의 자료에 모든 쿼리문을 올려두었어요!https://inf.run/VxSrg 지금 모바일에서 시청하고 계실까요?

4-8 지표 정의하기 연습 문제 풀이

창희님 안녕하세요! 문제 푸느라 고생하셨습니다. 하나씩 의견을 드려볼게요 1번CTR, CVR 잘 생각해주셨고, 비교를 위한 것이라고 해주신 것도 좋네요지표를 분자 분모로 해주신 것도 좋습니다여기서 이제 의사 결정을 어떻게 할지 한번 생각해보셔도 좋을 것 같아요. CTR이 올라갈 때 CVR이 내려갔다면 어떻게 판단할 것인가?생각 과정은 잘 하신 것 같고, 1번 생각하는데 얼마나 시간을 쓰셨을지 궁금하네요. 시간을 많이 쓰셨다고 생각하면 어떻게 해야 줄일 수 있을까 고민해보셔요 2번잘 생각해주셨고, CVR을 메인 지표로 해주셨는데 CVR이란 퍼널 구조에 따라서 퍼널이 길면 지표가 낮아집니다. 그래서 지표의 변화가 적을 수 있어요. 그래서 이 문제를 위해 CTR을 먼저 보는 경우도 있습니다. 이 관점도 기억해보시면 좋을 것 같아요체류 시간의 경우 다양하게 해석이 되는데 (1)은 납득이 되고 (2)는 결정하는 과정이니까 체류 시간이 길어질 수 밖에 없을 것 같아요. 그렇다고 하면 몇 초가 적절하냐?라는 기준점을 제시하는 것이 필요합니다. 그 기준점을 어떻게 잡을 것인가?도 중요할 것 같구요검색 알고리즘처럼 "알고리즘" 이 붙는다면 보통 사용하는 지표가 어느정도 정해져 있습니다https://www.google.com/search?q=%EA%B2%80%EC%83%89+%EC%95%8C%EA%B3%A0%EB%A6%AC%EC%A6%98+%EC%A7%80%ED%91%9C검색 알고리즘 지표로 검색해서 어떤 식으로 하는지도 살펴보셔요!지금 작성해주신 것은 제품 관점의 지표고, 위에 제가 공유드린 것은 알고리즘 관점의 지표에요. 하나에도 두가지 관점이 있구나 생각해주시면 됩니다 3번네 이건 제가 생각한 것과 같게 생각해주셨어요. 잘하셨습니다 4번4번 문제는 리텐션이나 체류 시간이라고 답하면 저는 아쉬운 답변이라 생각할 것 같은데, 그 이유는 "비즈니스 모델"을 고려해서 지표를 말해달라고 했기 때문입니다비즈니스 모델을 고려하지 않으면 리텐션 체류 시간이 모두 다 쓰일 수 있는 Output 지표입니다비즈니스 모델을 고려한 Input 지표를 만들면 좋겠다는 의도로 낸 문제입니다서비스 접속 = 주문으로 이어지는 경우가 대부분이라고 해주셨는데 이 근거는 어디에서 나온걸까요?DAU가 1000명이면 주문이 1000명에 근접하다고 생각하시는걸까요? 제 경험상 아닌 경우를 더 보긴 했습니다. Push를 보내거나 하면 DAU는 올라가는데 주문은 영향이 적은 상황도 있구요그렇기 때문에 지금 Input 지표를 생각해보시면 좋겠습니다(배달 비즈니스의 목표를 생각하면서)5번5번도 2번과 문제가 거의 비슷하고, 추천 알고리즘은 Recall, Precision 등의 방식으로 확인하곤 합니다https://imlookingformyjob.tistory.com/entry/%EC%B6%94%EC%B2%9C%EC%8B%9C%EC%8A%A4%ED%85%9C-%EC%B6%94%EC%B2%9C%EC%8B%9C%EC%8A%A4%ED%85%9C-%EC%A2%85%ED%95%A9-%ED%8F%89%EA%B0%80-PV-CTR-AB-Test-%EC%A0%95%ED%99%95%EB%8F%84-%EC%A0%95%EB%B0%80%EB%8F%84-%EC%9E%AC%ED%98%84%EC%9C%A8-F1-Score-PrecisionRecallK-MAPK-nDCG-Hit-RateK추천 알고리즘 지표로 검색해서 글 몇개 살펴보시고 인지하시면 좋을 것 같아요! 6번1인당 평균 작품 소비수를 제시해주셨는데, 평균 1.5개, 3.5개 이런 식으로 표현될 것 같아요.저라면 하루에 소비된 작품 수나 작품을 소비한 유저 수를 구할 것 같고, 유저 수가 있으면 말씀하신 것을 보조적으로 계산해둘 수 있을 것 같아요그 이유는 "평균"값은 데이터 분포에 따라 달라집니다. 그렇기 때문에 아웃라이어가 생기면 지표가 올라갈 수도 있어요(물론 트래픽이 많으면 이것도 어느정도 영향이 덜 미치겠지만) 그래서 저는 평균을 보기도 하지만 평균을 계산하기 위해 구성되는 값을 더 먼저 보고 평균을 봅니다그리고 평균 외에도 중앙값도 보는 편이에요. 두개를 보면 분포가 어떤지 이해할 수 있거든요이렇게 하면 어떻게 해야 사람들이 작품을 더 많이 볼 수 있을까? 생각할 수 있어서 Action Item을 구체화할 때 도움이 됩니다여기서 더 나아가면 신규 유저별, 기존 유저별로도 쪼개볼 수 있지요 7번네 이 부분은 지표는 잘 생각해주셨고, 추후에 있을 실험 내용을 맛보게 하려고 낸 문제였어요. 실험 파트를 보시고 다시 문제 보시면 영감을 얻으실 수 있을 거예요 문제 푸느라 고생하셨습니다!!

1-2. 제품(Product) 화면이 안보여요

앗 재부팅하니 되었다는 답변을 써주신 것을 봤는데 해결이 안된걸까요?

1-2. 제품(Product) 화면이 안보여요

서쿠님 안녕하세요.제가 강의를 확인했을 때는 보이는데, 서쿠님 환경이 궁금하네요.혹시 지금 어떤 환경이실까요? 사이드카나 듀얼모니터 등을 통해서 보고 계실까요?예전에 아래와 같은 질문을 본 적이 있어요.https://inf.run/PTix1 녹화 프로그램이 켜져있다거나 하는 경우에 안된다는 이야기도 들었어요. 이 부분은 인프런측에 문의를 하시면 자세한 가이드를 주실 것 같아요.

4-8 지표 정의하기 연습 문제 풀이!

해성님 안녕하세요! 문제 푸느라 고생하셨어요~~! 1번CVR에서 전환율에서 "전환" 이벤트를 화면 전환으로 정의하신걸까요?화면 전환으로 정의하면 클릭율과 거의 비슷한 개념으로 볼 수 있습니다전환 이벤트를 "구매"로 정의하면 구매 전환율이 되어서 실제로 홈화면에서 특정 화면을 통해 구매했는가의 비율을 가지게 됩니다그래서 1), 2) 생각 잘 해주셨는데 전환 이벤트 정의에 대해 고민을 해보시면 좋을 것 같아요!목적 정의를 고민하신 것 잘 하고 계신데, 목적이 문제와 동일합니다. 목적이라고 하면 조금 더 구체적으로 가야 합니다. 기능이 잘 동작한다? 잘 동작한다는 뭐지? 이 정의가 필요해요.CTR이 기존 대비 상승이라고 했는데 기존은 배포 이전이겠죠? 이렇게 이야기를 한다면 만약 시즈널리티의 이슈로(만약 월드컵 결승에 우리가 나간다고 하면 치킨이 엄청 많이 팔릴 거예요) 올라갈 거예요. 이런 상황이라면 기능 때문이 아니라 시즈널리티 때문에 발생한 이슈겠지요그래서 더 정확히는 전후 비교 외에 AB Test를 통해 신기능을 경험하는 유저와 아닌 유저와 나뉘어서 지표를 보면 더 정확한 판단을 할 수 있습니다 2번CTR로 잘 정의해주셨고, 이거 외에 정의한다면 구매 전환율(CVR)을 뽑을 수 있을 거예요. 일단 검색을 만족하면 클릭했을거고, 그러면 결제를 했겠죠? 이걸 2가지 지표로 파악하는 거예요.목적에 지금 검색 기능에 만족했는지 확인이라고 해주셨는데, 만족했다면 어떤 행동을 했을 것이다까지 생각해보시면 더 구체화가 가능해요!참고로 검색 알고리즘은 "알고리즘"이라 이미 정해진 지표 몇가지가 있어요. 알고리즘 단어가 나오면 한번 검색해보시는 것도 추천해요예 : https://kgw7401.tistory.com/90 3번이 문제는 간단하게 검색 필터를 사용했냐?를 확인하고 싶은 문제입니다따라서 전환율까지 가지 않고, 단순하게 클릭했는지를 파악하는 것이 더 좋을 것 같아요. ON/OFF 클릭이 많이 생기니 그 클릭이 얼마나 있나로 일단 이 제품 자체의 사용 비율을 구할 수 있지요아래 영상에서 제가 특정 기능 지표를 어떻게 바라보면 좋은지 알려드리고 있는데, 한번 살펴보셔요https://youtu.be/axZLFQjrFKM?si=X0KfSOOG4Ej3F7fZ&t=1160 4번4번 문제가 면접에 나온다면, Input Metric -> Output Metric 프레임을 생각해보시면 됩니다. Output Metric이 결국 매출인데, Input Metric은 무엇으로 해야 할까요?주문 수도 가능한 지표고, 좀 더 뾰족하게 신규 유저의 주문 수 등 다양하게 볼 수 있어요AARRR 관점의 답변은 저라면 좋은 답변으로 판단하지 않을 것 같은데, 그 이유는 배달 서비스에서 가장 중요한 지표란? => 배달 서비스만의 지표를 생각해보란 의미라서요. 배달 서비스, 배달 비즈니스는 어떻게 진행되는지 고민해보시고(비즈니스 모델도 살펴보고) 지표를 뽑아보시면 더 좋을 것 같아요5번CTR도 쓸 수 있고, 보조적으로 CVR을 사용해서 실제로 구매까지 했나 살펴볼 수 있어요.또한 알고리즘 관점 지표도 있으니 살펴보셔요https://datascience-hyemin.tistory.com/1346번코드잇 서비스는 왜 생긴걸까요? 고객의 어떤 문제를 해결하기 위해 나온 것일까요?고객의 문제를 먼저 생각하며 지표 정의를 해보면 좋아요결국 코드잇은 공부를 하기 위한 서비스니 학생들이 얼마나 공부하고 있는지를 대표할 수 있는 지표를 고를 것 같아요그리고 회사 관점에선 말씀하신 사용자 수 또는 하루에 "강의 구매를 위해 구매 페이지를 얼마나 접근하는가?"를 살펴볼 수 있을 것 같아요. 구매 페이지에 들어온 사람들 수가 있고 실제 구매한 사람이 있으면 비율로 표시할 수 있는데 2개의 숫자 조합이 어떻게 해야 더 올라갈 수 있을지 고민해봐도 좋을 것 같아요7번요 문제는 특정 지표를 선정해서 AB Test를 해야하는 의도로 미리 낸 문제입니다. AB Test 파트 학습하시고 문제 다시 보시면 이해가 되실 것 같아요 계속 문제 풀어보시지요! 파이팅입니다!

4-8. 지표 정의 연습 문제 1번과 2번 피드백을 여쭐 수 있을까요?

.님 안녕하세요! 문제 푸시느라 고생하셨습니다하나씩 의견 드려볼게요문제 #1. 기능이 잘 동작하고 있는지 확인하려면?잘 동작한다로 정의를 해주시면서 전개하신 것 좋습니다!(1) 배너 / 카테고리 / 추천 / 주변 영역별 클릭률 중 '10% 이하가 없어야' 잘 동작한다고 볼 수 있다여기서 10%인 이유는 무엇일까요? 실무라면 왜 10%냐?라고 물어볼 것 같아요저는 이렇게 10%라고 정하는 것을 선호하진 않아요(기준을 만들기 위한 근거가 명확하지 않다면)10%라고 정하려고 하면 과거 데이터를 보고 평균과 중앙값이 얼마고, 최하가 이 정도라서~~ 라는 근거를 제시할 수 있는데 이게 주관적일 수 있어서 저는 클릭률 지표를 보면 분포가 어떻게 되어 있고 분포에서 1/4 선이 몇%다 이렇게 제시할 것 같아요아마 10% = 좋지 않다라고 생각하실 수 있는데, 맥락에 따라서 10%가 좋은 지표일 수도 있어요. 처음 배포할 땐 2%였다가 올려서 10%가 되는 부분도 있을 테니깐요유저의 활용도를 구체적인 단어로 정의할 것 같아요활용을 한다면, 클릭을 할 것이다 -> 따라서 클릭율을 볼 것이다이런 흐름으로요활용이란 단어가 어떤 컴포넌트인지에 따라 달라질 수 있어서, 다양하게 해석될 수 있는 단어는 피하곤 합니다(2) 이탈 및 전환율이 '안정적'이라면 잘 동작한다고 볼 수 있다안정적이다라는 것이 추상적입니다. 안정이란 단어도 사람마다 다양하게 해석될 것 같아요. 이탈 및 전환율이 어떻게 보면 상충되는 지표라 (이탈하면 전환이 되지 않음) 하나를 정할 것 같아요. 저라면 이탈보단 전환율을 선호하는데, 이탈은 명시적인 이벤트가 남지 않기 때문에 그렇습니다.여기에 써주신 내용은 추상적이라 Action Item이 구체적으로 나오긴 어려울 것 같아요(좀 더 뾰족한 것을 원해요)문제 #2. 검색 만족도 지표클릭률 및 클릭률 당 체류시간이라고 말씀해주셨는데 이거는 2가지 지표를 제시한 겁니다. 동시에 2개의 지표보단 하나씩 제시하는 것을 추천합니다(1) 클릭률(2) 체류 시간클릭률 당 체류시간은 어떤 의미일까요? 해석이 명확하게 떠오르진 않아요(정의가 써있지도 않고)클릴륙 대비 체류 시간이란 지표를 본 적이 없는데, 작성해주신 것을 보면 그냥 체류 시간을 원하시는 것 같아요.세션당 검색횟수에서 검색 횟수 MICE하게 나눈다고 해주셨는데, 이 부분이 추상적으로 느껴집니다. 조금 더 구체적으로 가면 좋겠어요. (MICE가 아닌 MECE!)참고로 검색 품질 지표는 알고리즘 관점의 지표가 있는데, 아래 글에서 보실 수 있어요https://brunch.co.kr/@monglec/134문제 푸시느라 고생하셨습니다! 계속 풀어보셔요.

6-7. 데이터 로그설계 연습 문제 제출합니다!

솔의눈님 안녕하세요! 과제 푸시느라 고생하셨습니다! 하나씩 의견 드려볼게요문제1. 기능 잘 동작하는지?추천배너1을 클릭하는 경우를 click_recommend_1으로 해주셨는데 보통 이런 이름을 사용하지 않습니다그 이유는 추천배너 1이라는 것이 언제 1이 아닐 수 있기 때문입니다. 숫자로 쓰는 것은 명시적이지 않기 때문에 자주 활용되진 않습니다또한 event_name에 배너 id까지 넣으신건데, 저라면 차라리 click_banner라는 이벤트를 만들고 banner_id를 이벤트 파라미터로 넣을 것 같습니다. 그러면 정보는 동일하거든요. 배너가 추가되어도 파라미터로 넣을 수 있게 됩니다문제 1번은 해당 페이지에 있는 모든 기능들을 어떻게 동일한 관점으로 비교할 것인가?를 다룬 문제입니다. 따라서 특정 기능만 선택하는 것이 아니라 각 기능들을 비교할 수 있는 공통적인 지표를 만드는 것이 핵심입니다주문 전환율의 경우 배너가 어떤 것인지에 따라 다를 것 같아요. 쿠폰 배너일 수도 있지만, 공지 배너일 수도 있고 배너 타입에 따라 주문이 있는지 없는지가 달라질 것 같아요. 그래서 이 지표를 한다면 배너 타입도 추가해야 하는데, 복잡해질 가능성이 있어 저는 먼저 고려하진 않을 것 같아요배너 파라미터에 food_name, food_description은 어떤 것일까요? 요 부분이 헷갈리네요지표 정의하실 때 분자 분모는 잘 설정하셨습니다. 이렇게 계속 시도하시면 되어요지표를 정의하실 때, 왜 이 지표를 선택했는지도 같이 기록해주시면 더 좋아요. 목적을 같이 명시하면 다른 사람들도 왜 이 지표인지 이해하기 수월해집니다.view_home 이벤트에 has_address는 어떤 목적인가요? 보통 이런 정보는 유저의 프로퍼티로 뺍니다(유저의 정보로) 이벤트가 발생할 때마다 생기는 정보가 아니라 유저에게 저장된 데이터기 때문에 저라면 이건 유저 프로퍼티를 사용할 것 같아요만약 유저 프로퍼티에도 있는 데이터를 중복으로 저장하고 싶다면, 목적이 명확해야 합니다(어떤 지표에서 쓰일지 등) 지금은 해당 파라미터는 사용되지 않고 있네요3. [추천배너2] ㅡ 주요 지표 ① 평균 ETA와 추천배너2 ETA 비교여기서 ETA를 생각하셨군요! ETA 지표는 배달 서비스에서 중요한 지표긴 합니다. 다만 왜 동네맛집에서 이 지표를 봐야 할까요? 동네맛집이 더 가깝다는 가설이 있었을까요?ETA 정보는 유저의 로그 데이터가 아니라 서버 로그를 보는 경우가 더 많습니다. 서버엔 데이터베이스의 어떤 값이 언제 바뀌었는지가 기록되기 때문에, 그걸 바로 쓰거나 order DB에 별도의 컬럼으로 기록되어 있을 수 있습니다왜 ETA인가?라는 관점이 명확하면 더 좋겠습니다. 배달 서비스는 전체적으로 ETA가 중요하고, 동네 맛집이라고 해서 더 중요할까?라는 생각을 해보는 것이 필요할 것 같아요4. [추천배너2] ㅡ 주요 지표 ② 추천배너2 클릭율여기서 view_home에 recommend_model : random으로 되어있는데 이건 어떤 의도인가요? 추천 모델을 위하서라면 별도로 서버 로그로 기록하는 경우가 더 많습니다. 유저 로그는 유저의 행동 관점으로 로그를 남기는 편입니다그리고 view_home 을 홈 화면 노출 횟수라고 해주신 것 같은데, 엄밀히 말하면 홈 화면 진입 수입니다. 노출이라는 것은 정의가 살짝 다릅니다. 배너 같은 경우에 노출이라고 많이 씁니다(배너는 시간이 지나면서 자동으로 넘어가는 경우도 있기 때문에) 문제 2. 검색 만족도 지표검색 후 최종 주문 전환율이라고 해주셨는데 결국 검색 주문 전환율을 의미하는 것 같아요. 최종이란 단어가 있으면 최종이 아닌게 있나? 라는 생각이 드네요검색 결과 0건 비율은 알고리즘 관점의 지표인 것 같아요.검색 만족도 지표는 알고리즘 관점의 지표가 있는데, 아래 글 참고해보셔요https://techblog.musinsa.com/map-416b5f143943검색 이탈률은 검색하고 이탈한 비율인가요? 이런 경우라면 이탈보다 명확하게 검색하고 클릭한 비율을 추적할 것 같아요. 1에서 CTR을 뺀다거나 하면 사람들이 이해하는 것이 어려운 경우가 있더라구요(결국 같은 지표를 의미하므로)complete_order 이벤트의 파라미터로 user_id를 넣으셨는데, 보통 유저의 로그 데이터엔 모든 이벤트에 기본적으로 user_id가 추가됩니다. 따라서 이벤트의 파라미터로 user_id를 넣을 필요가 없습니다(이벤트의 파라미터 : 이벤트의 정보만 저장한다고 생각해주시면 됩니다) 또한 user_id를 u_1111 이런 형식으로 해주셨는데 u를 쓰신 이유가 있을까요? 아마 현재 회사에서 그런 형태로 저장해서 해주셨을 것 같은데, id는 숫자로 작성하는 것을 더 추천합니다(물론 회사의 id 형태를 따라가긴 해야겠지만..!)view_search_result여기서 use_search 파라미터는 왜 있을까요? 이벤트 네임 자체가 view_search_result면 모두 다 search를 통한 것일텐데 이 값이 또 있는 이유가 궁금합니다food_source에 research_result라고 되어있는데 research는 무엇인가요? search일까요? 이런 정보를 다 넣어달라고 하면 클라이언트 개발자쪽에서 데이터를 저장하고 있어야 해서(화면이 바뀌어도 계속 저장하고 있어야 해서) 선호하지 않을 수 있어요. 이건 명확하게 사용될 이유가 있으면 좋을 것 같아요is_suggest_keyword는 어떤 값일까요? 트래킹 시트에도 작성되어 있진 않네요.session_id 있는 것은 잘하셨습니다! 이렇게 하면 같은 세션인지 확인할 수 있어요region_code는 왜 존재할까요? 어떤 목적으로 로그를 심으신 것인지 궁금하네요 문제 3. 검색 필터 기능의 활성화 지표검색 필터 사용률 = 필터가 1개 이상 적용된 검색 결과 화면 노출 횟수/전체 검색 결과 화면 노출 횟수위와 같이 정의해주셨는데, 사용률이라고 하면 검색 필터 클릭 수 / 검색 필터 노출 수이렇게 정의하면 될 것 같아요. 노출 횟수와 노출 횟수가 있는데, 노출이라는 것이 위에서 말씀드린 것처럼 view랑 정의가 살짝 달라서 헷갈리네요(노출은 홈 화면에 갔다가 다시 화면 진입할 때 찍히게 하는 경우도 있어요)사용이라는 것은 명확하게 클릭을 했을거라서 클릭을 쓰는 것을 추천드려요혹은 노출 횟수를 쓰신 이유가 있으려나요? 2. 개별 필터 활용 비율이 지표는 결국 어떤 필터를 얼마나 클릭했는가라서 각 필터 클릭 수를 세면 될 것 같아요. 지금은 여러개 필터에 대한 지표를 구하라고 하지 않아서 일단 더 생각하지 않고 필터 사용에만 초점을 맞추셔도 괜찮아요3. 필터 사용 유무 CTR 비교여기서 갑자기 A와 B가 나옵니다. 그 이유는 무엇일까요?AB Test 이야기는 아니라서 지표만 정의해주시면 되어요AB Test를 할 때 A와 B 집단에 따라 로그 정의가 달라지면 안됩니다. 로그를 동일하게 저장해야 비교를 할 수 있어요. 지금 view_search_result가 그룹 A엔 filter_id가 있고 B엔 filter_id가 없네요. 이렇게 작성하고 공유해주셔서 감사합니다! 정리해보면지표의 목적을 같이 기록해주시면 좋을 것 같아요지표를 많이 만드는 것보다 핵심 1-2개의 지표만 있어도 충분합니다보시다가 추가적으로 이것도 필요할 것 같은데?라고 생각하며 지표를 더 추가하는 것은 "목적"에 맞게 했는지 고민해보시면 결정할 수 있을 것 같아요 고생하셨습니다!