인프런 커뮤니티 질문&답변
작성한 질문수
이미 배포가 확정된 기능에 대한 ABT 진행에 대한 문의
해결된 질문
작성
·
27
0
안녕하세요. 저는 SaaS 플랫폼 회사에서 데이터 분석가로 일하고 있습니다.
이번에 개발까지 약 2달이 소요된 기능이 퍼널 앞단에 추가될 예정인데요, 해당 기능에 대한 성과 분석이 필요한 상황입니다.
다만, 카일스쿨님의 강의를 들으면서 들었던 생각은 '시간을 이렇게 들여서 배포가 확정된 건인데, 이게 성과가 좋지 않다고 롤백을 할까? 내가 ABT를 하는게 어떤 의미가 있을까?' 생각이 들었습니다. 데이터 분석가로서 해당 기능을 추가는게 프로덕트 성과에 유의미하게 좋다/아니다라는 의사결정에 기여해야한다 생각했으나, 뭔가 실험의 느낌이 아니라 배포가 확정된 기능의 성과를 분석하는 것에 그치는 것 같다는 생각이 들었습니다.
어쩌피 배포가 확정된 것인데, 이게 기존 버전보다 성과가 좋은지 보기 위한 ABT(최종 출시 전에 50/50으로 ABT를 생각하고 있었습니다.)를 진행한 후에, 만약 새로운 버전의 성과가 좋지 않다면? 같은 멘탈 시뮬레이션을 해보았을때,, 그 안에서 어떤 개선을 하는게 좋을지에 대한 분석을 하는게 좋을지 롤백하자는 의견을 제안하는게 좋을지 여러 생각이 듭니다.
이런 경우는 ABT가 아니라 단순히 성과분석으로 이해하고 이에 목적을 맞춘 실험을 하는게 좋을까요? 이런 경우는 어떤식으로 접근하여 학습 내용을 적용할 수 있을지 방향성에 대한 조언을 듣고싶습니다.
항상 감사합니다!
답변 3
1
0
안녕하세요.
배포가 확정된 것이라고 해도 얼만큼의 차이가 있는지 파악해야 합니다. 만약 비슷한 종류의 실험을 해야하는 상황이 또 온다면, 과거의 경험이 있어야(AB가 어떤 차이가 있었는지) 그 때 판단을 더 잘할 수 있지요.
실험을 해서 기존안이 더 좋다고 하면, 그럴 땐 저는 한번에 롤백을 하진 않습니다. 롤백 결정은 무거운 결정입니다. 개발한 동료들의 사기를 꺾는 일이라 한번에 롤백!으로 하진 않아요. 지금 기존안이 더 좋다고 하면 왜 그런 결과가 나왔는가? 사람들의 반응이 어떠한가?에 대해서 알아야 합니다. 이런 경험이 있어야 그 이후에 더 좋은 제품을 고민할 수 있는 계기가 됩니다.
읽다보니 배포가 확정되었다는 것은 어차피 100%로 배포할 것인데 뭐하러 실험을 해야 하냐?라는 관점일까요? 실험을 통해서 불확실성을 줄이기 위함이고, 100%로 배포하는게 위기인 경우도 있을 거예요(카카오톡 변화를 생각해보시면 됩니다) 어차피 100%로 배포할 것이다라는 관점을 계속 가지고 있으면 어차피 데이터 분석해서 뭐해~라는 입장으로 될 수 있어서, 실험에 집중을 해보시면 어떨까 싶어요. 그리고 어떤 세그먼트에서 더 많이 반응을 했는지도 살펴보는 것도 필요하겠지요.
기존안이 더 좋을 때, 세그먼트 별 지표를 보거나 자세한 분석을 통해 왜 사람들이 반응을 안했는지 질문을 던지고, 이걸 해결하기 위해 추가 기능을 더 만들어서 지표를 올려보자!라는 생각을 하는 사람이 조직에서 바라는 데이터 분석가의 역할이 아닐까 싶어요(물론 회사마다 다를 수 있고, 데이터 문화가 형성되지 않았다면 이런 기대를 하진 않을 것 같긴 해요)
실험을 단순히 배포를 하기 위한 수단으로 생각하는 것이 아니라, 제품과 사용자에 대한 이해를 깊게 하는 과정으로 바라보시면 좋겠습니다. 실험 결과 자체가 좋든 나쁘든, 그 과정에서 '우리 사용자는 이런 변화에 이렇게 반응하는구나'라는 학습이 남게 되고, 그게 쌓이면 다음 기능을 기획할 때 훨씬 더 좋은 판단을 내릴 수 있는 기반이 됩니다.
0
안녕하세요, 인프런 AI 인턴입니다. f63b5c2c32님!
배포가 확정된 기능에 대해 고민이 많으시군요. 이런 상황에서는 데이터 분석가로서 기능의 성과를 측정하기 위한 전략적 접근이 필요합니다. 이와 관련하여 유사한 질문을 통해 도움이 될 만한 자료를 소개해 드리려고 합니다.
A/B 테스트의 유용성 검토 및 적용 방안:
- 기존 배포가 확정된 기능에 대한 A/B 테스트의 활용 목적은 성과 분석과 함께 개선 포인트의 도출입니다. A/B 테스트가 꼭 롤백을 위한 것이 아니라, 한 가지 변화가 프로덕트의 다른 성과 지표에 어떻게 영향을 미치는지를 이해하는 과정으로 바라볼 수 있습니다. 관련 내용을 다룬 데이터 비교 방법 2) A/B테스트 내용 중 AB 기준을 과거 데이터에도 적용에 대한 질문 게시물에서 유사 상황의 사례를 찾아보실 수 있습니다.
- 기존 배포가 확정된 기능에 대한 A/B 테스트의 활용 목적은 성과 분석과 함께 개선 포인트의 도출입니다. A/B 테스트가 꼭 롤백을 위한 것이 아니라, 한 가지 변화가 프로덕트의 다른 성과 지표에 어떻게 영향을 미치는지를 이해하는 과정으로 바라볼 수 있습니다. 관련 내용을 다룬 데이터 비교 방법 2) A/B테스트 내용 중 AB 기준을 과거 데이터에도 적용에 대한 질문 게시물에서 유사 상황의 사례를 찾아보실 수 있습니다.
기능 추가가 제품 성과에 미치는 영향 분석:
- A/B 테스트는 반드시 롤백이 아닌 다양한 인사이트를 제공할 수 있습니다. 사용자의 변화를 분석하여 사용 패턴이나 다른 지표에 미치는 영향을 파악하는 데 중점을 줘야 할 수도 있습니다. 이에 대한 자세한 설명은 10-6 강의 중 A/B 테스트에 대한 질문 게시물에서 확인할 수 있습니다.
- A/B 테스트는 반드시 롤백이 아닌 다양한 인사이트를 제공할 수 있습니다. 사용자의 변화를 분석하여 사용 패턴이나 다른 지표에 미치는 영향을 파악하는 데 중점을 줘야 할 수도 있습니다. 이에 대한 자세한 설명은 10-6 강의 중 A/B 테스트에 대한 질문 게시물에서 확인할 수 있습니다.
결과 분석 후, 미래 전략 구상:
- 새로운 기능의 성과가 낮다면, 이를 분석한 데이터를 바탕으로 다음에 도입할 전략이나 필요한 개선점을 찾는 것이 중요합니다. 더 나아가 실험 과정에서 얻은 인사이트로 인해 이후 전략이 더욱 발전할 수 있습니다.
- 새로운 기능의 성과가 낮다면, 이를 분석한 데이터를 바탕으로 다음에 도입할 전략이나 필요한 개선점을 찾는 것이 중요합니다. 더 나아가 실험 과정에서 얻은 인사이트로 인해 이후 전략이 더욱 발전할 수 있습니다.
이러한 접근은 A/B 테스트를 단순히 ‘잘못된 것을 골라내기 위한 과정’이 아닌 ‘미래 전략의 발전 방향을 설정하는 과정’으로 전환하는 데 도움이 될 것입니다.
저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.