고객 반응에 대한 성능 평가

안녕하세요! 'snowballeffect.biz'님

어려운 질문을 주셨네요..^^;;

우선 대조군 A,B의 테스트 조건이 동일하지 않은 문제(총 노출수)가 있는데요..

이를 무시하고 결과만 놓고 보면 당연히 A추천 시스템 입니다.

하지만 이때 추천에서 히트(전환)에 이르기까지 발생한 비용과 직/간접수익 등을 계산해 봐야는데요,

간단히 "노출 비용"과 "전환 수익"에 대한 효익을 따져 돈을 더 잘버는 모형을 선택 해야 겠죠!!

그래서 A에 더 추가된 노출비용 100이 크지 않다면 당연히 전환율이 높은 A모형 입니다. 

요기까진 사장님 마인드고요..ㅎㅎ

엔지니어 마인드로 보면...A와B의 차이가 왜 발생 했는지를 검토해 보셔야 합니다.

A와 B 전환율로만 보면 각각 21% 18% 인데요..
(참고로 요정도면 실무에서 엄청 혁신적인 수치입니다. ^^)

요 차이가 두 모델의 알고리즘 성능으로  발생하는지..아니면 단지 노출수만 무조건 늘리면 전환율이 높아지는 것인지...아니면 A와 B 대조군의 테스트 환경 차이가 있었는지를 분석해야 합니다.

특히 A/B 테스트는 환경과 시나리오 등의 차이에 따라 결과가 매우 민감하게 달라질 수 있습니다.

노출수 400과 300에서 "노출 기간/시기/시간" , "UI/UX상 노출 위치" , "유입경로" , "노출 국가/지역" , "노출대상고객 분석" 등이 있고,

전환수 84와 56에선 위 조건에 따라 반응한 "전환대상고객분석" 등이 이루어 져야 합니다.

상황에 따라선 반응 하지 않은 316과 245 분석이 더 중요할때도 많습니다. 주로  해지 및 이탈방지, 리텐션 대상 고객에게 타겟 마켓팅을 하는 경우 입니다.

이 분야는 CRM 이라는 또 다른 전문 영역 이죠...저희 IT인들은 공부할께 너무 많습니다.  TT 

 -빅디 올림