인프런 커뮤니티 질문&답변

보리보리쌀님 안녕하세요! 좋은 질문 감사합니다. 이 상황에 이게 맞나? 저게 맞나? 생각해보는 것이 사고력 증진에 도움이 되더라구요

• [기존에 없던 신규 기능을 배포한 경우[ 케이스에서 A/B테스트를 하게 될 때 A: 신규 기능을 적용하지 않은 경우, B: 신규 기능을 적용한 경우로 비교 실험하는 것으로 이해했는데 맞을까요?

• 혹은 A/B 각 군 모두 신규 기능 이되 UI/UX 형태를 다르게 해서 비교 실험을 해야하는 것일까요?

신규 기능을 배포할 때도 더 쪼개보면 상황이 여러가지가 될 수 있습니다

1. 제품의 완전 핵심적인 부분(2점대에서 3점대로 바뀌면서 화면 UI가 모두 바뀌는 경우)

2. 핵심적인 부분은 아닌 새로운 기능 출시

1번과 2번에 따라서 AB Test를 하는 것이 좋은지, 어떤 방식으로 해야할 지가 나뉩니다.

1번의 경우 기존 화면 / 신규 화면을 나눠서 AB Test를 하면서 사용성이 달라지는지 파악하고, 2번의 경우엔 문제의 크기나 회사 상황에 따라 논의하고 결정했습니다

2번을 조금 더 자세히 이야기 해보면

• 기능의 첫 배포를 할 때

  • 신규 기능을 적용한 경우 / 신규 기능을 적용하지 않은 경우

    • 구매 전환율(CVR) 같은 지표를 통해 신규 기능 여부를 나눌 수 있다면 구매 전환율(CVR) 지표를 보조 지표로 볼 수 있습니다(보조 지표인 이유는 CVR 지표는 직접적인 것보다 장기적인 관점에서 나오는 지표라 판단해서)

  • 만약 공통의 지표가 나오기 어렵다고 하면

    • 신규 기능을 아예 100% 배포 -> 이후 기능 런칭할 때 AB Test 진행

      • 이런 결정을 하는 이유는 처음이기에 기준점이 없을 수 있습니다. 그래서 일단 빠르게 배포해서 데이터를 쌓고, 베이스라인으로 삼을 지표를 만든 후 그 이후 기능부터 AB Test를 합니다

    • 신규 기능을 2가지 버전으로 나누어서 배포

      • 이상적으로는 이게 좋아보이지만, 2가지 버전으로 만드는 것은 개발이나 디자인 리소스가 2배가 드는 일이기 때문에 속도가 느려질 수 있습니다. 아주 작은 것만 수정하는 것은 또 굳이?일 수도 있구요

• 신규 기능의 베이스라인으로 삼을 수 있는 지표

  • 모든 기능들의 처음이 존재할텐데, 처음 배포했을 때 지표를 베이스라인으로 삼을 수 있습니다. 예를 들어 홈으로 들어온 사람 중 30%가 신규 기능을 사용했다 => 그럼 이번에도 30% 넘으면 일단 과거보다 잘 되어가는 것으로 생각해볼 수도 있다(판단하진 않고 생각만 해봅니다. 동일한 기능이 아닐테니)

  • 위 내용은 페르미 추정을 사용해서 베이스라인을 만들었다고 보면 되는데, 베이스라인을 만드는 이유는 잘 되고 있나? 아닌가?의 기준선이 없기 때문이라고 보시면 됩니다

  • 인프콘에서 발표한 내용에 페르미 추정이 있으니 참고해보셔요!

  • https://youtu.be/axZLFQjrFKM?si=qycBX1mKtfcRgQOa

강의 마지막 부분에 있는 Case Study(쏘카)도 보시면 도움이 될 것 같네요. 그 당시 전체적인 퍼널에서 세부 기능을 바꾸었어요.

안녕하세요, 인프런 AI 인턴입니다. 보리보리쌀님!

A/B 테스트는 두 가지 주요 방법으로 실행할 수 있습니다. 첫 번째는 말씀하신 대로 “A: 신규 기능을 적용하지 않은 경우”와 “B: 신규 기능을 적용한 경우”로 나누어 실험하는 방법입니다. 이 방식은 신규 기능의 효과를 명확하게 평가하는 데 유용합니다.

두 번째로, “A/B 각 군 모두 신규 기능이나 UI/UX 형태를 다르게 해서 실험하는 방법”도 있습니다. 이 경우, 같은 기능을 다양한 디자인이나 인터페이스로 제공하여 사용자가 어떤 형태를 더 좋아하고 소통이 잘 되는지를 분석할 수 있습니다.

각 방법은 실험의 목표에 따라 달라질 수 있습니다. 기능의 유용성을 평가하고 싶다면 첫 번째 방법을, 사용자 경험을 최적화하고 싶다면 두 번째 방법을 선택하는 것이 좋습니다.

관련하여 추가적으로 궁금하신 사항이 있으시면, 아래 링크들을 참조하시면 도움이 될 것 같습니다:

1. “데이터 비교 방법 2) A/B테스트 내용 중 AB 기준을 과거 데이터에도 적용에 대한 질문”
   
2. “A/B Test에 대해 질문드립니다!”
   

저는 질문자님의 이해를 돕고자 지식공유자님의 기존 답변을 참고하여 유사한 답변 링크를 추천해드리고 있습니다. 현재 베타 기능으로 답변이 만족스럽지 않을 수 있는 점 양해 부탁드립니다. 🙏 추가적으로 궁금한 점이 있으시면, 이어서 질문해 주세요. 곧 지식공유자께서 답변해 주실 것입니다.