인프런 커뮤니티 질문&답변

안녕하세요.  north님.

저도 간단한 A/B 테스트를 진행할 때는 Firebase의 Remote Config 기능을 이용합니다.  사실 정확히 이야기하면 이 기능을 통해서 A/B 테스트를 진행했다기보다는, A/B 테스트에 적합한 이벤트 로깅을 했다는 게 좀 더 정확한 표현일 것 같습니다.  통제조건과 실험조건을 나눠서 로깅하는 데 remote config를 사용하고, 실제 조건 별 클릭율이나 전환율을 비교할 때는 앱 로그 데이터를 꺼내서 보고 있습니다.

remote config 기능을 통해 동적변수인 key, value를 각각 지정할 수 있는데,
보통은 key에 실험 title을, value에는 조건을 기록하는 형태로 사용합니다.

- remote_config_key = 'test1'
- remote_config_value = 'condition_A'

remote config에 대한 상세한 내용은 아래 링크를 참고하시면 될 것 같습니다.

https://riggaroo.dev/ab-test-app-firebase-remote-config/ 
https://firebase.google.com/docs/remote-config/parameters?authuser=0
https://pinkredmobile.wordpress.com/2017/09/30/firebase-ab-test-%ED%95%98%EA%B8%B0/

통제변수의 경우, 절대적인 기준이 있다기보다는 실험의 종류에 따라서 달라집니다.  실험 결과에 영향을 줄 수 있는 변수가 무엇이 있을지를 거꾸로 탐색하면서 통제변수 설정을 하실 필요가 있습니다.

가령, (여행서비스의) 결제완료 화면에서의 추천영역 클릭율 종속변수로 한 실험을 한다고 가정하면

나이나 성별 같은 demographic 정보도 통제변수가 될 수 있지만
여행지, 여행목적, 동행여부 등이 더 중요한 통제변수가 될 수도 있다고 생각합니다.
(런던 출장을 가는 사람과, 도쿄 휴가를 가는 사람은 추천에 반응하는 정도가 전혀 다를 수 있으니까요!)

답변 정말 감사합니다!!