파이어베이스 원격구성으로 랜덤 추출이 가능한지 궁금합니다.

Question

안녕하세요 양승화 강사님! 강의 잘 듣고 있습니다! 통제변수 관리의 중요성을 알게되었습니다. [질문1] 파이어베이스 원격구성으로도 통제변수를 잘 관리해서 A/B테스트가 가능한지 궁금합니다. [질문2] 통제변수 관리는 일반적으로 어떤 것으로 지정하는지 궁금합니다.(나이, 성별 등) 감사합니다.

양승화 · Answer

안녕하세요.  north님. 저도 간단한 A/B 테스트를 진행할 때는 Firebase의 Remote Config 기능을 이용합니다.  사실 정확히 이야기하면 이 기능을 통해서 A/B 테스트를 진행했다기보다는, A/B 테스트에 적합한 이벤트 로깅을 했다는 게 좀 더 정확한 표현일 것 같습니다.  통제조건과 실험조건을 나눠서 로깅하는 데 remote config를 사용하고, 실제 조건 별 클릭율이나 전환율을 비교할 때는 앱 로그 데이터를 꺼내서 보고 있습니다. remote config 기능을 통해 동적변수인 key, value를 각각 지정할 수 있는데, 보통은 key에 실험 title을, value에는 조건을 기록하는 형태로 사용합니다. - remote_config_key = 'test1' - remote_config_value = 'condition_A' remote config에 대한 상세한 내용은 아래 링크를 참고하시면 될 것 같습니다. https://riggaroo.dev/ab-test-app-firebase-remote-config/   https://firebase.google.com/docs/remote-config/parameters?authuser=0 https://pinkredmobile.wordpress.com/2017/09/30/firebase-ab-test-%ED%95%98%EA%B8%B0/ 통제변수의 경우, 절대적인 기준이 있다기보다는 실험의 종류에 따라서 달라집니다.  실험 결과에 영향을 줄 수 있는 변수가 무엇이 있을지를 거꾸로 탐색하면서 통제변수 설정을 하실 필요가 있습니다. 가령, (여행서비스의) 결제완료 화면에서의 추천영역 클릭율 종속변수로 한 실험을 한다고 가정하면 나이나 성별 같은 demographic 정보도 통제변수가 될 수 있지만 여행지, 여행목적, 동행여부 등이 더 중요한 통제변수가 될 수도 있다고 생각합니다. (런던 출장을 가는 사람과, 도쿄 휴가를 가는 사람은 추천에 반응하는 정도가 전혀 다를 수 있으니까요!)

north · Answer

답변 정말 감사합니다!!