동시간에 여러개의 A/B테스트를 설계하는 방법에 대해 질문 있습니다.

안녕하세요. north님

유저 수가 충분히 많아서 진행중인 N개의 실험에 독립적으로 할당할 수 있는 경우에는 여러 개의 테스트를 동시에 진행하더라도 큰 문제가 없습니다.  Firebase에서 remote_config_key를 'test1', 'test2'...  이런 식으로 구분하면 됩니다.  (다만 여러 가지 테스트를 동시에 하는 경우, 통제변수 관리하는 부분을 주의해야 합니다.) 

실험 1의 독립변수가 검색결과 페이지에서 썸네일 이미지 유무, 실험 2의 독립변수가 상품 페이지에서 구매하기 버튼의 색상이라면 아래와 같은 식입니다.  위 질문 내용 중에서 단변량 테스트와 다변량 테스트를 병행하는 것도 문의해 주셨는데, 실험집단이 독립적이라면 병행해도 상관이 없습니다.

- 실험 1 조건 A: 검색결과 페이지 썸네일 있음 (통제변수 중 하나로 구매하기 버튼의 색상이 포함되어야 함)
- 실험 1 조건 B: 검색결과 페이지 썸네일 없음 (통제변수 중 하나로 구매하기 버튼의 색상이 포함되어야 함)

- 실험 2 조건 A: 구매하기 버튼 색상 빨강 (통제변수 중 하나로 검색결과 페이지의 썸네일이 포함되어야 함)
- 실험 2 조건 B: 구매하기 버튼 색상 파랑 (통제변수 중 하나로 검색결과 페이지의 썸네일이 포함되어야 함)

한 유저가 N개의 실험을 동시에 진행하는 경우 훨씬 더 복잡해집니다. (가능하면 이렇게 하지 않으시길 권합니다)  하나의 실험이 다른 실험에 영향을 줄 수 있기 때문입니다.  이 경우에는 일정한 시간차를 두고 순차적으로 진행하거나, 실험 규모를 축소할 필요가 있습니다.

한달에 수십~수백 개의 테스트를 한다고 알려진 회사들은...  유저 모수가 엄청나게 많아서 1% 미만의 유저만 데리고도 유의미한 양의 데이터를 수집할 수 있거나, 혹은 서비스 이외의 다른 채널(가령 외부 채널에 노출하는 광고나, 유저에게 발송하는 이메일 등...)을 이용한 테스트를 병행해서 측정하는 숫자가 아닐까 생각합니다 ^^;;  저도 아직 한달에 수십개씩 막 돌려보진 못했네요 ㅠ 

단변량 테스트와 다변량 테스트의 구분은 '독립변수가 하나인가?' 만 보면 됩니다.  단, 이 경우 독립변수가 하나라면 수준이 여러개가 되어도 단변량으로 분류합니다.

만약 어떤 실험의 독립변수가 구매하기 버튼 색상이라면,

- 빨강 vs. 파랑 (A/B 테스트) -> 단변량입니다
- 빨강 vs. 파랑 vs. 검정 (A/B/C테스트) -> 마찬가지로 단변량입니다.

다변량 분석이 되려면 독립변수 자체가 N개여야 하고, 그 모든 독립변수 조합에 대한 테스트를 진행해야 합니다.

어떤 실험의 독립변수가 구매하기 버튼 색상, 구매하기 버튼 모양... 이렇게 2개라고 가정하면

(조건1) 구매하기 버튼 빨강 + 사각형
(조건2) 구매하기 버튼 빨강 + 타원
(조건3) 구매하기 버튼 파랑 + 사각형
(조건4) 구매하기 버튼 파랑 + 타원

이런 구조로 테스트를 한다면 다변량 분석에 해당됩니다.

안녕하세요! 정성스러운 답변 정말 감사합니다.
많이 배웠습니다!!