가설 검증 시, 실현가능한 성공 지표 설정 방법

Question

가설을 검증할 때, 성공 지표를 설정하는 기준이 무엇인가요? 회사에서 UX개선안을 제안할 때, '그래서 이거 개선하면 전환율 몇%나 오르는데? 신규 회원 몇 명이나 유치하는데?' 라는 질문에 자신있게 답을 하기가 어려워요. 아직 경험치도 부족하고, 매출과 직결된 민감한 부분에 대충 x% 오릅니다! 라고 말할수도 없어서인데요.. 그래서 꼭 필요한 개선임에도 불구하고 우선순위가 자꾸 밀려서 답답한 마음입니다. 애자일하게 A/B테스트를 돌려보면 좋겠지만, 워터폴로 업무가 진행되는 터라 테스트를 여러차례 해보기도 어렵고 약속한 달성치는 꼭 지켜야하는 분위기입니다. 이런 경우, 최대한 실현가능한 지표를 설정하기 위해 현업에서는 어떤 방법을 사용하시는지 질문드립니다.

youngkang · Answer

안녕하세요, 학영 님 🙂 일단 질문 남겨주셔서 넘 감사합니다! 많은 분들한테도 도움이 되실 것 같아요. 꼭 필요한 개선임에도 불구하고 우선순위가 자꾸 밀려서 답답한 마음이시군요... 저도 비슷한 경험이 있어서 이 마음에 공감이 되기도 해요.   인트로에서 설명했다시피 저는 워터폴로 일해본 적이 더 적어요. 그리고 일의 맥락이 충분하지 않으면 답변하기 어려운 질문이라 짧게 답변을 하기엔 쉽지 않네요.   그래도 생각나는대로 조금 길게 적어보면요,   만약 저라면 다음과 같은 방법을 활용해볼 것 같아요. 업계 벤치마킹 지표 알아보기: 비슷한 도메인의 회사들, 비슷한 패턴을 가진 UX에서 UX를 어떻게 개선해봤는지 살펴봐요. 이런 사례들을 보면, 그들의 변화가 얼마나 효과가 있었는지, 특히 사람들이 더 많이 사용하게 되었는지, 새로 가입한 사람들이 많아졌는지 알 수 있어요. 이 정보를 우리 제안에 어떻게 적용할 수 있을지 생각해보면 도움이 돼요. 실제 다른 회사 실험등의 지표를 공개한 자료들을 통해 실험의 구체적인 임팩트를 측정할 수 있으면 좋겠죠. 비슷한 실험을 했는데 이 컴포넌트 개선, 혹은 이 플로우 개선은 NN%올랐어 등의 자료를 모을 수 있는 방법이 아예 없진 않을 거 같아요. 커뮤니티가 도움이 될 수도 있겠죠. 프로토타입으로 UT : 가능하다면, 우리가 생각한 개선안을 실제로 만들어볼 수 있는 간단한 버전, 즉 프로토타입을 만들어서 사람들이 직접 써보게 해보세요. 이렇게 해서 받은 피드백으로 우리 아이디어가 실제로 얼마나 좋은지, 어떤 부분을 더 개선해야 하는지 알 수 있어요. 전문가 의견: UX나 디자인 분야에서 꽤 경험이 많은 사람들한테 우리 아이디어에 대해 의견을 구해보세요. 이런 사람들은 비슷한 상황에서 어떤 것들이 잘 통했는지, 우리 아이디어가 실제로 얼마나 효과가 있을지에 대한 좋은 조언을 줄 수 있어요. 리스크 대비: 아무리 잘 계획해도 예상치 못한 일이 생길 수 있어요. 그래서 우리 제안을 할 때, 이게 잘 될 거라고 생각하는 근거를 명확히 하면서도, 만약 잘 안 되면 어떻게 할지에 대한 계획도 같이 세워두는 게 좋아요. 이렇게 하면 뭔가 잘못되더라도 당황하지 않고 대처할 수 있어요. 이러한 부분은 혼자 고민하기 보다는 리더나, 아젠다를 끌고갔던 실무자 분께 여쭤보면 조금 더 팁을 얻을 수 있어요.   이런 부분을 잘 알고 있으면 설득하기 쉬울 것 같아요. 회사의 비즈니스 방향성에 대한 이해: UX 개선안을 제안할 때는 이게 우리 회사의 비즈니스 골과 방향성과 얼마나 잘 맞는지를 확실히 보여줘야 해요. 예를 들어, 우리가 원하는 건 더 많은 사람들이 우리 서비스를 쓰게 하거나, 이미 쓰고 있는 사람들이 더 만족하게 만드는 거잖아요. 그래서 우리가 바꾸려는 부분이 이런 목표에 어떻게 도움이 될지를 세세하게 설명해야 해요. 회사 안의 이해관계자와 대화: 회사 안에서 다른 팀과도 잘 얘기해봐야 해요. 비즈니스나 마케팅 팀, 개발 팀처럼 여러 팀이 있잖아요. 이런 대화를 통해 우리 회사가 정말 중요하게 생각하는 게 뭔지, 그리고 우리가 제안하는 UX 개선안이 왜 중요한지, 어떤 문제를 해결할 수 있는지에 대한 더 넓은 시각을 가질 수 있어요. 이렇게 하면 우리 제안이 회사에 정말 필요한 거라는 걸 더 잘 보여줄 수 있을 거예요. 그리고 대화 하는 과정 자체를 통해서도 학영 님께서 많이 배우는 부분이 생길 수 있고요.   추가로 고민해볼 수 있는 건 다음과 같은 내용들이 있을 것 같아요. 꼭 필요한 개선이 맞을까? 그 근거는 무엇일까? 누구의 도움을 받으면 이걸 정확하게 인지할 수 있을까? → 우선순위를 올리는데 있어서 이 개선안에 대해서 설득할 수 있으려면 이 개선안과 다른 업무들 간의 우선순위를 버드뷰로 인지하고 있으면 좋아요. 제 강의의 메타인지와 구조화 섹션에서 자세히 볼 수 있으니 그 섹션을 참고해보셔도 좋을 것 같아요. 만약 꼭 필요한 개선이 맞다면 팀을 잘 설득하기 위해 필요한 재료는 무엇일까? → 다른 팀원일수도 있고 설득하는 근거나 숫자일수도 있겠죠. 이 부분에 대해서 어떻게 설득할 수 있을지 한번 고민해보셔도 좋을 것 같아요! 섹션 2. 메타 인지와 구조화, 섹션 4. 프로덕트 스테이지별, 기능별, 도메인별, 유저 져니별 문제해결 사례 를 보시고 셀프 체크리스트를 풀어보신 다음에 질문에 대해서 셀프로 답변해보셔도 학영 님께 도움이 되실 것 같습니다! 궁금한 점 있으면 지금처럼 계속 질문 남겨주세요 😄