Aha Moment 관련 강의가 몇강이었죠?

안녕하세요, aha moment를 가장 처음 언급한 강의는 '14강 지표 설정 프레임워크 (1) 지표란 무엇인가, Proxy 지표'였습니다. 그리고 '16강 Activation'에서도 설명을 했고, '29강 Retention: 가장 중요한 단 하나의 그로스 레버. Activation으로 리텐션 개선하는 법'에서 가장 자세히 설명해 놓았습니다. 🙂

새 기능에의 만족도 조사를 위한 적절한 테스트

유저들의 문제에 대한 리서치가 제대로 됐다는 것을 전제로 했을 때 (즉, 고객들이 실제로 겪는 중요한 문제를 해결하려는 기능이라고 했을 때) 유저들이 해당 기능에 대한 만족도가 높은지 낮은지 보는 가장 확실한 방법은 실제로 배포해서 유저들이 사용하게 하는 것입니다. 그리고 유저들이 그 기능을 계속 이용하는지, 아니면 한 번 이용하고 다들 이탈하는지 리텐션을 보는 것입니다. 리텐션이 높으면 만족도가 높다고 추정할 수 있고, 리텐션이 낮으면 만족도가 낮다고 추정할 수 있습니다. 평생 한 번만 이용하면 되는 기능이 아닌 이상, 유저의 문제를 해결해주는 기능이라면 유저들은 계속해서 이용할 테니까요. (그 전에, 즉 실제로 배포하기 전에 몇몇 유저들에게 프로토타입을 보여주면서 반응을 볼 수도 있습니다. 하지만 '화면상에서 작동하는 모습만 보는 것'과 '실제로 내 문제를 해결하기 위해 기능을 사용해 보는 것'은 다릅니다. 프로토타입만 보여주는 것은 실제로 이용하는 게 아니기 때문에 기능에 대한 만족도를 판단하는 데는 한계가 있습니다. 만약 프로토타입만 보여줬는데도 유저들이 다들 싫어한다면 실제로 배포했을 때도 만족도가 낮을 것이라고 판단할 수 있겠지만...)하지만 유저가 100만 명 있는데 100만 명 모두에게 새로운 기능을 배포하는 것은 위험이 따르는 일입니다. 기능이 별로라면 유저들에게 나쁜 인상을 줘서 이탈 요인이 되니까요. 이런 경우 일부 사용자들에게만 배포하는 것이 위험을 줄일 수 있는 방법입니다. 실제로 많은 수의 사용자를 보유한 서비스들은 기능을 한 번에 모든 유저들에게 배포하기보다는, 일부 유저들에게 시험삼아 배포해서 반응을 본 다음에 점차 더 많은 유저들에게 확장하는 방법을 쓴다고 합니다.

사용성 테스트 5명만 해도 충분하다는 법칙의 이름이 무엇인가요?

제가 '어림법칙'이라고 말한 것을 자막 AI가 '어린 법칙'으로 잘못 알아들었나봅니다.🙂 어림법칙은 사용성테스트에 관한 법칙은 아니고, '경험에 따르면 대략 이러하다'라는 기준을 가리킵니다. 영어로는 heuristics, 혹은 rule of thumb라고 부릅니다. 5명만 테스트하면 충분하다는 얘기는 Nielsen Norman Group에서 나온 자료(링크)에서 비롯된 것인데, 여기에는 좀 더 복잡한 뉘앙스(링크)가 있습니다. 어떤 경우에는 10명 혹은 더 많은 사람을 테스트해야 할 수도 있습니다.

[오픈 일정 관리] 관리자와 실무자 간의 견해 차이를 조정하는 역할을 PM이 해야 할까요?

꼭 PM이 하라는 법은 없고, 조정을 잘할 수 있는 사람이 하면 됩니다. 하지만 아무도 하고 싶어하지 않으면 현실적으로 PM이 그 역할을 하게 될 것입니다. 🙂 일종의 협상이라고 생각하고 접근하시면 될 것 같습니다. 상대가 어떤 사람인지, 상대가 원하는 것은 무엇인지, 상대가 절대 포기할 수 없는 것/포기할 수 있는 것은 무엇인지, 내가 절대 포기할 수 없는 것/포기할 수 있는 것은 무엇인지, 상대가 뭔가를 포기할 때 내가 줄 수 있는 것은 무엇인지, 내가 뭔가를 포기할 때 상대에게 무엇을 받을 수 있을지 등을 고려해야 할 것입니다.

Payback Period 관련

"예산 할당이 되지 않은 프로덕트나 프로젝트"가 구체적으로 어떤 상황을 뜻하는지 조금 더 써 주실 수 있으실까요?그리고 한번 스스로 생각하시는 답을 적어보시는 것도 좋을 것 같습니다. 정답지가 없는 상황에서 머리를 싸매고 고민해서 해답을 만들어 내는 것도 연습이 필요한 일이니까요!

B2C 사업이 아닌 B2B사업의 경우 지표 설정 방법

(1번 질문에 대한 답) 기업 고객들(우리 회사의 제품을 이용하는 고객들)을 신규 고객으로 설정하고, 새로운 기업 고객 확보에 관한 지표들을 우리 회사의 Acquisition 지표로 설정합니다. (2번 질문에 대한 답) 인프런 AI 인턴이 답을 잘 써주셨네요. 고객 성공(customer success) 차원에서, 우리의 고객들이 얼마나 좋은 성과를 내고 있는지 데이터로 파악할 수 있다면 그것도 지표로 설정해서 볼 수 있을 것입니다. 현실적으로는 제품 하나가 고객들의 사업 성과(특히 매출 같은)에 기여하는 비중은 크지 않습니다. 우리 제품에 직접적으로 연결되는 성과만 지표로 설정하고 트래킹하면 된다고 생각합니다. 굳이 복잡하게 '고객들의 고객, 고객들의 고객들의 고객, 고객들의 이해관계자들, 고객들의 이해관계자들의 이해관계자들...' 같은 식으로 2차, 3차, n차 변수까지 고려할 필요는 없습니다. 제품에서는 웬만하면 acquisition, activation, engagement, retention, monetization 차원의 지표들만 보면 되고, 추가적인 지표들은 꼭 필요하면 정의해서 보면 됩니다. 고객들이 우리 제품을 통해서 사업적인 가치를 제대로 만들어내고 있지 못하다면 engagement나 retention 지표에서 나타날 것이니까, 충분히 이런 지표들만 가지고도 문제를 감지할 수 있습니다.

새로운 제품을 기획할 때는 moment 정의를 어떻게 하나요?

새 제품을 만드는 중이라면 setup/aha/habit moment가 무엇인지 미리 정의할 수 없겠죠. 제가 강의에서 알려드린 정의에 따르면 setup, aha, habit moment는 '장기 리텐션과 상관관계가 높은 사용자 행동 패턴'인데, 새 제품을 만드는 중이라면 장기 리텐션 데이터가 있을 수 없으니까요.새 제품을 만들 때는 'setup/aha/habit moment를 정의해야겠다'라고 접근하는 것보다는, '어떻게 하면 사용자들이 우리 제품의 핵심 가치를 빠르게 경험하게 만들 수 있을까? 어떻게 하면 사용자들의 우리 제품의 핵심 가치를 습관화하게 만들 수 있을까?'라는 식으로 접근하는 게 좋다고 생각합니다. 그런 고민을 하면서 일단 사용자들이 제품 이용 초반에 하는 경험(온보딩 경험)을 공들여서 설계하고, 그런 다음에 어느 정도 시간이 지나면 정성적 리서치와 정량적 데이터 분석을 통해 setup/aha/habit moment를 정의할 수 있을 것입니다. 🙂

목표 설정 방법에 대한 질문

네, 말씀하신 대로 기존에 우리 회사가 가진 경험을 토대로 조금 더 도전적인 목표를 세우는 것이 많이 쓰이는 방법 중 하나입니다. 혹은 동종업계의 벤치마크 지표(benchmark metrics)를 활용하기도 하고, '회사가 살아남기 위해서는 이만큼의 성과는 달성해야 한다'를 기준으로 회사가 살아남기 위해 필요한 수준을 목표치로 설정하기도 하고, 투자자들을 설득하기 위해 필요한 만큼을 목표치로 설정하기도 하고, '우리가 팀의 시간과 자원을 이만큼 들였으면 저만큼은 성과가 나와야 한다'라는 관점에서 목표를 설정하기도 합니다.

취준생인 경우 데이터 분석 역량은 어떻게 쌓으면 좋을까요?

회사에서 실제로 일을 하는 게 아니라면 실제 제품 데이터를 가지고 실습을 하는 데 제약이 많죠... 이건 어쩔 수 없는 것 같습니다. 그래도 이런 상황에서 해 볼 수 있는 방법들을 몇 가지 제안해 보자면,Amplitude나 Mixpanel 등 product analytics SaaS에 가입하시고 로그인하시면, demo 모드로 해당 서비스들을 이용해보실 수 있습니다. 정교하지는 않지만 가상의 제품 데이터를 제공하고 있어서, product analytics 툴이 어떻게 돌아가는지 파악하는 데는 도움이 될 수 있습니다. 분석용 제품 데이터를 제공하는 강의를 찾아보시는 게 한 가지 방법이 될 수 있습니다. 예를 들면 https://gopractice.io/ 같은 곳을 찾아보시면 그런 데이터를 제공한다고 주장하고 있습니다. 혹은 국내에서도 몇몇 강의들이 데이터를 제공한다고 주장하는 것으로 알고 있습니다. (제가 직접 수강한 적은 없어서, 이런 강의들이 어느 정도 수준으로 데이터셋을 제공하는지는 잘 모르겠습니다.)꼭 프로덕트 제품 분석이 아니더라도, 데이터 분석 기본 역량을 기르면 간접적으로나마 도움이 됩니다. 책, 온라인 자료, 강의 등 여러 경로를 통해서 학습해 보시길 권합니다. (단, 머신러닝이나 딥러닝 등을 다루는 강의는 프로덕트 분석에는 별로 유용하지 않으니 그런 강의들은 제외하셔도 됩니다.)

전환율 관련 질문

벤치마크 지표(benchmark metric)라는 게 있어서, 온라인 제품 종류별로 대략적으로 지표가 어떤지 알 수 있습니다. 구글에서 product benchmark metrics 같은 검색어로 검색햅시면 찾을 수 있습니다.혹은 동종업계에서 일하는 지인들에게 알음알음 들어서 아는 경우도 있습니다. 🙂