Multi-Armed Bandit 질문드립니다.

Question

해당 방식은 자주 사용되는 방식일지 궁금합니다. 혹은, 단순히 조직이 성향에 따라서 달라지는 걸까요? (가령, 실험기간동안의 손해에 보수적이라면 MAB를 더 많이 사용할 수도 있지 않나 싶어서요.) 감사합니다.

양승화 · Answer

안녕하세요.  Sumin Yeom 님 MAB(Multi-Armed Bandit)는 일반적으로 널리 사용되는 방법론은 아닙니다.  방법론 자체에 문제가 있다기보다는... 구현의 난이도가 높다는 문제가 있거든요 -_-;;;  (MAB가 좋은 건 알지만, 실제 MAB 기반으로 돌아가는 실험 시스템을 만드는 건 완전히 다른 이야기라서...)  손해를 최소화하고, 최적의 조건을 가능한 많이 가져간다는 철학 자체는 조직의 성향과 무관하게 크게 반대할만한 요소가 없습니다. 최근에는 MAB 혹은 MAB와 유사한 실험 최적화 서비스들이 조금씩 등장하고 있는데요.  아래 예시를 확인해보시면 비슷한 맥락의 서비스들이 어떤 식으로 활용되고 있는지 참고하실 수 있습니다. 참고) 카카오톡 스마트메시지  https://business.kakao.com/info/smartmessage/ Braze Multivariate-testing https://www.braze.com/docs/user_guide/intelligence/multivariate_testing/ Optimizely Stats Accelerator  https://help.optimizely.com/Build_Campaigns_and_Experiments/Stats_Accelerator

Sumin Yeom · Answer

하핫, 구현이 어려운 거군요.. 덧붙여주신 툴을 활용하는 게 테스트를 빨리 시도하고 결과를 확인하기엔 좋겠네요! 답변 감사합니다.