• 카테고리

    질문 & 답변
  • 세부 분야

    마케팅

  • 해결 여부

    미해결

파이어베이스 원격구성으로 랜덤 추출이 가능한지 궁금합니다.

20.07.15 21:03 작성 조회수 258

0

안녕하세요 양승화 강사님! 강의 잘 듣고 있습니다!

통제변수 관리의 중요성을 알게되었습니다.

[질문1]

파이어베이스 원격구성으로도 통제변수를 잘 관리해서 A/B테스트가 가능한지 궁금합니다.

[질문2]

통제변수 관리는 일반적으로 어떤 것으로 지정하는지 궁금합니다.(나이, 성별 등)

감사합니다.

답변 2

·

답변을 작성해보세요.

1

안녕하세요.  north님.

저도 간단한 A/B 테스트를 진행할 때는 Firebase의 Remote Config 기능을 이용합니다.  사실 정확히 이야기하면 이 기능을 통해서 A/B 테스트를 진행했다기보다는, A/B 테스트에 적합한 이벤트 로깅을 했다는 게 좀 더 정확한 표현일 것 같습니다.  통제조건과 실험조건을 나눠서 로깅하는 데 remote config를 사용하고, 실제 조건 별 클릭율이나 전환율을 비교할 때는 앱 로그 데이터를 꺼내서 보고 있습니다.

remote config 기능을 통해 동적변수인 key, value를 각각 지정할 수 있는데,
보통은 key에 실험 title을, value에는 조건을 기록하는 형태로 사용합니다.

- remote_config_key = 'test1'
- remote_config_value = 'condition_A'

remote config에 대한 상세한 내용은 아래 링크를 참고하시면 될 것 같습니다.

https://riggaroo.dev/ab-test-app-firebase-remote-config/ 
https://firebase.google.com/docs/remote-config/parameters?authuser=0
https://pinkredmobile.wordpress.com/2017/09/30/firebase-ab-test-%ED%95%98%EA%B8%B0/

통제변수의 경우, 절대적인 기준이 있다기보다는 실험의 종류에 따라서 달라집니다.  실험 결과에 영향을 줄 수 있는 변수가 무엇이 있을지를 거꾸로 탐색하면서 통제변수 설정을 하실 필요가 있습니다.

가령, (여행서비스의) 결제완료 화면에서의 추천영역 클릭율 종속변수로 한 실험을 한다고 가정하면

나이나 성별 같은 demographic 정보도 통제변수가 될 수 있지만
여행지, 여행목적, 동행여부 등이 더 중요한 통제변수가 될 수도 있다고 생각합니다.
(런던 출장을 가는 사람과, 도쿄 휴가를 가는 사람은 추천에 반응하는 정도가 전혀 다를 수 있으니까요!)

0

north님의 프로필

north

질문자

2020.07.17

답변 정말 감사합니다!!