High tempo testing: 페북, 우버 등이 그로스팀을 운영하는 방법 (2) 운영편

High tempo testing: 페북, 우버 등이 그로스팀을 운영하는 방법 (2) 운영편

지난번 팀 포스트에서 팀 빌딩과 조직구조를 다뤘다면 본 포스트에서는 그로스 팀이 세팅되었다는 전제하 어떻게 팀을 운영하고, 성과를 내도록 운영하는지에 대한 방법론을 다룬다.

션 엘리스는 그의 저서 ‘해킹그로스’를 통해 ‘High tempo testing’ 을 소개한다.지난 2년간 그로스팀을 눔에서 운영한 결과, 성과내는 즉, 성장하는 그로스팀에서 가장 중요한것은 바로 실험 속도라고 자신있게 말할 수 있다.

원리는 간단하다, 동일한 자원을 갖고 있는 두 팀이 있다면, 같은 기간 안에 더 많은 수의 성공적인 실험과, 더 많은 유효한 배움을 가진 팀이 더 큰 성장을 만들 확률이 높다. 어떻게 보면 당연한게 스타트업이 성장을 위해 개선해야하는 ‘그로스엔진의 성능’은 (우리의 경우, 유료구매 전환율) 결국 크고 작은 실험 성공들이 점진적으로 누적되면서 개선되기 때문이다. 엔진의 성능을 높일 수 있는 요소는 바로 ‘유효한 실험 횟수’다.

매일 1%씩 개선하는 이는 1년뒤에 37.7배의 성장을, 1%씩 뒤처지는 자는 1년 뒤에 0.03으로 퇴보를 걷게된다.

2년 전을 돌이켜보면 참 부끄럽게도 가설 하나를 입증하고, 분석을 뽑아내는데 1달이 넘는 시간이 걸렸다.. 지금은 그 속도가 빨라져 그로스팀 내에서 한 스프린트(=업무 주기, 우리 팀은 1주 단위로 업무의 계획/회고 싸이클이 돌아간다)에 12-15개씩 실험들이 돌아간다. 2년 전보다 무려 60배로 그 속도가 증가했다. (션 엘리스에 의하면 그로스팀을 제대로 돌리는 페북, 우버 등의 경우 한 주에 그로스 실험들이 2-30개씩 돌아간다고 하니, 우린 아직 멀었다)

만약 이제 그로스를 시작하는 스타트업이라면, “눈 딱 감고 일주일에 1개의 실험 싸이클을 돌려본다.”라고 생각하고 일단 시작해보자. 해야 할 건 많아 보이고, 어디서부터 시작해야할지 모르겠고, 주변의 기대는 높은데 정작 도움되는 자원은 없고, 정말 복잡 미묘한 마음이 들어 참 힘들었는데, 이 모든 게 1주일 한 개 실험에서 시작되더라. 눈 딱 감고, 하던 다른거 접어두고 첫 실험부터 시작해보자.

Sean Ellis 신작, Hacking Growth – Testing at high temp pg114

단 하나의 실험을 돌리더라도, 제대로 된 싸이클을 갖고 돌리는 것이 중요하다. 올바른 분석과 근거 기반의 아이디어(가설) 수립, 투명하게 우선순위 정리된 가설과 독립된 실험 환경에서의 명확한 실험, 그리고 확신할 수 있는 실험 종료 기준을 세우고 실험을 진행할 때, 비로소 제대로 실험을 제대로 진행했다고 말할 수 있을 것이다.

  1. ANALYZE(분석하기): 그로스 디렉터와 데이터 애널리스트는 지난 실험 (혹은 status quo)에 대한 분석을 시작한다.수집되고 있는 데이터가 충분하다면, 퍼널 분석 툴을 통해 몇 번 퍼널에서 가장 많은 트래픽을 잃고 있는지를 파악하는 것으로부터 시작할 수 있고 만약 출시 전의 제품이나 아직 충분히 데이터가 수집되지 않고 있다면 정성조사에서부터 시작해야 한다.눔에 처음 와서 좋았던 것은 내가 조인했던 시점 전부터 이미 많은 앱 다운로드가 발생한 상태였고, 사용자 데이터를 가공해서 분석해보기 충분했다.잔존율이 높은 축에 속해 있는 동질 집단(cohort)임에도 불구하고 유료 전환하지 않는 사용자들의 서비스 사용 패턴이라든지, 재구매율이 높은 사용자들의 데모그라피는 무엇인지, 결제 모듈에서 내뱉는 구매 에러들의 분포도는 무엇이 가장 높은지 등. 정량적으로 유료구매전환율을 높이기 위한 다양한 분석들을 진행했고, 이중 지속해서 모니터링해야하는 부분들은 BI툴로 하나둘씩 트래킹하기 시작했다.이밖에도, 새로운 제품 런칭 시, 다양한 기존 고객들을 대상으로 설문과, FGI(포커스 그룹 인터뷰), IDI(심층 인터뷰) 를 진행하여 Language/Market fit, Value Proposition, 퍼소나/JTBD 등 잠재고객에 대한 힌트를 많이 얻을 수 있었다.

    퍼널 분석을 위해 사용하고 있는 믹스패널과 진행 중인 실험 성과 예시

    퍼널 분석을 위해 사용하고 있는 믹스패널과 진행 중인 실험 성과 예시

  2. IDEATE(가설 수립하기): 가설 수립은 확실히 양(amount)과의 싸움이다.먼저, 최대한 많은 아이디어를 모은다.이때 그로스 디렉터는 통찰에 기반한 가설들을 직접 추가하는 것 외에도 팀과 조직 전체를 촉진해서 다양한 아이디어가 모아질 수 있도록 (걱정마시라, 아이디어를 모으라고 했지 그걸 다 구현하라는 얘기가 아니다) 퍼실리테이터 역할을 할 수 있어야 한다. 팀은 문제를 공표하고, 아이디어 수집 폼을 만들고 파이프라인을 구축해야 한다. 눔은 투자자에서부터 지나가는 일반인까지 다양한 이들에게 묻고, 가설을 얻는다. 혹시 사용하는 ITT(=Issue tracking tool, 눔은 구글폼과 트렐로를 쓴다)가 없다면 션 엘리스가 그로스해커들을 위해 만든 Projects 라는 온라인툴이 있으니 둘러봐도 좋다.ICE 우선순위 스코어링: 눔 그로스팀이 기회를 얻어 션 엘리스에게서 스팟 코칭을 받을 당시에, 우리의 마인드셋을 가장 크게 바꾸었던 코칭 주제 중 하나가 바로 ICE 스코어링이었다. 이 간단한 체제가 얼마나 그로스팀의 자산이 되었는지 이루 말로 다할수 없다. 두번 말하지 않겠다, 무조건 ICE 하라.

ICE 스코어링은, 쌓인 여러 가설(아이디어)들을 세가지 항목으로 평가한다:

1) Impact: 해당 아이디어를 적용할 수 있다면, 핵심 지표에 어느 정도 임팩트를 미칠 수 있는가?  
2) Confidence: 이 아이디어가 성공할것이라는데 어느 정도 자신감이 있는가? (해당 아이디어가 성공률이 높다는 근거가 있으면 가산점)  
3) Ease: 이 아이디어를 어느 정도로 쉽게 구현할 수 있는가? (개발해서 라이브 시키는데 있어 시간이 짧으면 가산점)

이렇게 우선순위를 정리하고 아이디어 리스트를 다시 바라보면 정말 놀랍게도, 일주일 안에 1개 돌려볼 수 있는 가설이 나온다. 새롭게 아이디어가 들어오면 또 이 기준으로 리스트 업데이트를 하면 된다. 결국 3개 항목을 평균 때리기 때문에, 임팩트가 다소 낮더라도 당장 구현이 가능한 가설들이 위로 올라오게 되고 한 주기당 유효한 실험의 횟수는 자연스럽게 늘어나게 된다. 팀이 지속해서 ICE 리스트를 관리하다 보면 그 가운데 성공하는 실험 가설에 대한 촉이 쌓이고 암묵지가 누적/확산되는 점도 참 성장하는 기분을 들게 만든다.

  1. TEST(실험하기): 모든 것은 AB테스트한다.가끔 외부 팀을 컨설팅하다가 발견하는 거지만, 어제의 전환율과 오늘 새롭게 돌린 전환율을 비교하는 것은 AB가 아니다. 대조군과 실험군이 명확히 나뉘고, 변인통제가 이루어진 상황에서야 그 결과를 유의미하게 사용하여 실제 돈이 오가는 비즈니스 의사결정을 내릴 수 있게 된다.사실 AB테스트를 할 때 가장 중요한 점은, 언제/어떤 기준을 갖고 실험을 종료시키는가인데, 일반적으로 p-value 를 활용한 유의성 검사를 많이 쓰고 있고 션 엘리스는 저서에 통계적 유의성을 99%까지 올려서 결정 짓는 것을 권장하고 있다. 다만 p-value가 가진 함정들에 있어서 여러가지 문제점들이 제기되고 있으며, 나도 하룻밤 만에 99% SS(Statistical Significance) 짜리 테스트가 뒤집어지는 것을 눈으로 목격한 다음에는 샘플사이즈, 신뢰구간 등의 다양한 안전장치를 만들어서 충분한 결론 도달 이후에 통합 반영하는 것을 원칙으로 두고 있다.

    키스메트릭에서 제공하는 AB테스트 유의성 검사 툴

    키스메트릭에서 제공하는 AB테스트 유의성 검사 툴

  2. ANALYSIS & LEARNING(다시 분석하며, 배우기): 실험 결과를 정리하고, 발견된 특이점. 후속 실험으로 돌리고 싶은 신규 가설들을 정리한다.이 와중에 입증된 ‘유효한 배움’ (우리의 잠재고객은 A보다 B의 환경을 주었을 때 더 구매전환이 많이/적게 일어났다)은 다른 그로스팀들에게 공유가 되어 새로운 가설의 씨앗으로 쓰일 수 있도록 Knowledge base (예: 사내 위키) 등에 잘 정리/보관해두어야 한다.뻔한 얘기지만 어느 정도 지난 시점부터는 성공하는 실험보다 실패하는 실험들이 많아지게 되어있다. (최근에 실패한 실험이 없다면, 충분히 많은 실험을 돌리지 않고 있거나 너무 뻔한 실험들에만 집중하고 있는 건 아닌지 점검해볼 필요가 있다) 그래서 성공률은 낮더라도 큰 배움들을 얻을 수 있는 RAT(Riskiest Assumption Test)가 주목받고 있고, 이를 활용한 새로운 배움과 후속에 후속 실험들을 통한 큰 WIN들이 의미 있다는 정도까지 설명하겠다.

마치며, 그로스팀을 운영한다는 것은 “마치 농부의 삶을 사는 것과 같다” 라고 표현하고 싶다. 밭을 갈고 씨를 뿌리고, 매일매일 밭에 나가 물을 주고 잡초를 제거하고 까마귀를 쫓는 일상의 반복이다. Case study 에 나오는 마법 같은 그로스해킹 사례들은 그런 농부 일상에 가끔 터지는 한 부분일 뿐이며, 사실은 실패와 다양한 삽질 속에 매일매일 누적 1%의 개선을 만들며, 추수의 때를 기다리는 열매 고픈 자인 것이다.

이 땅의 모든 그로스 농부들에게. 분명 열매는 맺힌다. 그것도 걷잡을 수 없는 규모로. 집요하게 물고 늘어지며, 버텨라. Cheers.

comments powered by Disqus

Recent Articles

blog-image
[믹스패널 PMF Case #1] 열정팩토리 & 밸런스프렌즈

“저희 팀 대부분의 멤버들이 Mixpanel을 활발하게 사용하며 다양한 데이터를 분석하고 있습니다. 그리고 대표이자 리더로서 Mixpanel을 통하여 최대한 많은 정보들을 쉽고 편하게 확인하고 서비스 전체에 대한 큰 그림을 그릴 수 있어 기쁘게 생각합니다.

blog-image
믹스패널(Mixpanel) 스타트업 프로그램 신청안내

Mixpanel Startup Program에 관심가져주셔서 감사합니다. 아래 설문지를 통해 믹스패널 스칼라쉽을 지원받으실 수 있습니다. 지원자격과 지원내용을 참고하신 후, 스타트업 프로그램 지원서를 작성해주세요

blog-image
마켓핏랩, 믹스패널 전략 웨비나 개최 … 고객 분석부터 제품 출시 실험까지

지난 2일, 그로스해킹 컨설팅 컴퍼니 ‘마켓핏랩'이 디지털 마케터와 제품 책임자를 대상으로 “정말 툴 하나로 조직 모두 데이터 분석을 할 수 있게 될까?