구글 옵티마이즈 종료 이후, AB테스트 툴의 대안은?

1. 구글 옵티마이즈 종료 이후, AB테스트 툴의 대안

무료 실험 툴이었던 구글 옵티마이즈가 2023년 종료되었지만 (Google Optimize Sunset), 그 후로 아직까지도 어떤 실험 툴을 선택해야할지 고민하는 조직들이 많습니다.

개발자의 리소스를 최소화하면서도 빠르고 지속적인 실험을 하기 위해서는 AB테스트 툴 도입을 검토할 수 밖에 없는데, 오늘은 구글이 옵티마이즈를 종료하면서 공식적으로 협업 관계라는 것을 인정한 3가지 툴인 VWO, AB Tasty, Optimizely의 각 특징과 G2 기반 사용자들의 평가, 그리고 장단점을 살펴보겠습니다.

2. 구글 공인 3대 AB테스트 툴별 특징

1) VWO

VWO는 비즈니스 Suite를 지향하는 툴입니다. 다시 말해, 실험 기능 말고도 세션 녹화, 히트맵, CDP, 개인화 등 다양한 기능들을 종합적으로 제공하는 툴입니다. 그렇기 때문에 단순히 실험을 진행하는 것 뿐만 아니라 실험 Variant별 세션 녹화, 히트맵 데이터를 보는 등 다각도의 실험 분석을 희망하는 분들에게 적합할 수 있습니다. 이러한 폭넓은 기능 스펙 대비 가격은 저렴하여 가성비가 좋은 툴로 평가받고 있습니다.

• 주요 기능 : 웹 Testing, 앱 Testing, Serverside Testing, 세션 녹화, 히트맵, CDP, 개인화, Bayesian 기반
• 장점
  • 앱 테스트 SDK도 지원하는 툴
  • 히트맵, 세션 녹화 와 같은 행동 분석 기능까지 갖춘 툴
  • MTU 기반 Pricing (실험 Track User만 집계)을 적용하여 비용 효율적인 툴
  • Pricing 폭이 다양한 툴 (최저 1만 MTU 티어부터 사용 가능하며 Starter 플랜, 그로스 플랜, Pro 플랜, 엔터프라이즈 플랜 으로 플랜 선택 폭도 넓음)
  • 가격이 투명하게 Open 되어있는 툴
  • Free Trial을 공식적으로 지원하는 툴
• 단점
  • 기능은 많지만, Add-On 형태로 지원되는 방식
  • MTU가 낮으면 가격이 저렴하지만, MTU가 높으면 가격이 다소 비싸질 수 있음

2) AB Tasty

AB Tasty는 이커머스 (마케팅,MD) 팀을 위해 최적화된 기능이 많은 툴입니다. 실험 기능 안에 마케터가 활용하기 좋은 CRM 마케팅용 위젯들이 다양하게 지원되며, 이커머스 고객사를 위한 검색 추천 & 추천 알고리즘 기능도 제공하고 있습니다. 그 외에 UI/UX가 다른 툴 대비 쉽고 직관적인 편이라서 비개발자에게 사용성이 좋은 툴로 평가받고 있습니다.

• 주요 기능 : 웹 Testing, Serverside Testing, 개인화, AI 기반 개인화 기능, Search & Recommendation, Patch(무료 Delpoy 기능), Bayesian 기반
• 장점
  • 다양한 CRM 위젯이 지원됩니다
  • Patch라는 임시 배포(Deploy와 같은 기능) 기능이 무상으로 제공됩니다
  • 개인화 기능이 무상으로 제공됩니다
  • 비개발자 친화적 인터페이스
• 단점 : 가격을 선택할 수 있는 폭이 제한적입니다 (20만 MAU부터 Entry 시작, 엔터프라이즈 플랜만 존재)

3) Optimizely

Optimizely는 글로벌 엔터프라이즈 레퍼런스가 많으며, 별도 실험 엔진을 개발할정도로 가장 고도화되어있지만 동시에 가장 비싼 툴로 평가받고 있습니다. 깔끔하고 심플한 UI & UX를 지니고 있으며, 실험을 잘 집행하기 위해 실험 설계서를 작성하고, 지라 시스템과 연동하여 담당자를 지정하는 등의 Experiment Collaboration 기능도 제공하고 있습니다.

• 주요 기능 : 웹 Testing, Serverside Testing, Experiment Collaboration, CMS
• 장점
  • Experiment Collaboration 기능으로 피그마, 구글 Docs, Jira 등과 연동하여 실험설계서 작성 가능
  • CMS 기능도 직접 갖추고 있는 AB 테스트 툴
  • 별도 개발한 통계엔진 및 머신러닝 기능으로 더 빠르게 통계적 유의성 확인 가능
• 단점 : 가격을 선택할 수 있는 폭이 제한적입니다 (50만 MAU부터 Entry 시작, 엔터프라이즈 플랜만 존재)

3. AB테스트 툴별 G2 평가

그렇다면 해외 기업들은 주요 AB 테스트 툴에 대해 어떻게 평가하고 있을까요?
공정성 있는 평가를 위해 SaaS 솔루션 비교/평가 플랫폼인 G2 기준의 평가를 기준으로 보도록 하겟습니다.

G2 Grid 에 따르면 가장 High Performing한 툴은 VWO로 평가받고 있으며 대부분의 고객들이 사용하기에도 적합한 범용적인 툴로 평가받고 있습니다. 준수한 성능의 Testing 기능과 히트맵/세션 녹화 기능, CDP 등의 범용적인 기능들이 높은 평가를 받은 이유로 추측됩니다.

AB Tasty는 VWO만큼의 High Performing한 툴은 아니지만 범용성이 더 높은 툴로 평가받고 있습니다. 아마 AB Tasty가 가지고 있는 특유의 마케터를 위한 위젯 기능, AI 기능, 무료 Patch 기능 등이 좋은 평가를 받은 원인이지 않을까 추측됩니다.

생각보다 Optimizely는 High Performing한 툴로 평가받고 있지는 않지만, VWO보다는 더 범용적인 툴로 평가받고 있습니다. 아마 Optimizely의 AB Test 기능 외에도 갖추고 있는 Content Marketing Platform, CMS 기능 등이 범용성 측면에서 좋은 평가를 받은 원인이지 않을까 추측됩니다.

G2에 따르면 148개의 AB 테스트 솔루션 중 VWO가 대부분의 기업들에게 좋은 툴로 평가되었습니다.

VWO는 고객 만족도가 가장 높은 AB 테스트 툴이었으며, Mid Market 레벨까지의 툴로는 가장 만족이 높은 툴로 평가 받고 있었습니다.

AB Tasty는 규모가 큰 엔터프라이즈 고객들의 만족이 가장 높은 툴로 평가 받았습니다.

4. AB테스트 툴별 특징 요약

아래는 각 툴별 특징을 다시 한줄 요약한 내용입니다.

1) VWO

• 장점: 유연한 가격 정책, MTU Pricing, Free Trial 지원, 히트맵/세션 녹화 기능 지원
• 단점: 기능은 많지만 Add-On 형식으로 제공됨

2) AB Tasty

• 장점: 다양한 CRM 위젯, Patch & 개인화 기능 무상 제공, 비개발자 친화적 인터페이스
• 단점: 가격 선택 폭이 제한적 (20만 MAU부터 Entry 시작)

3) Optimizely

• 장점: 글로벌 레퍼런스가 많음, 별도 개발한 통계 엔진, 실험과 연계할 수 있는 Collaboration 기능
• 단점: 가격 선택 폭이 제한적 (50만 MAU부터 Entry 시작)

5. 끝마치며

지금 이 순간에도, 어떤 실험 툴을 도입해야할지 고민인 분들이 많습니다. 더 근본적으로는 실험이 정말 제품 성장에 도움이 될지 의심하는 분들도 계십니다. 하지만, 그로스 해킹에서 이야기하는 “점진적 개선”을 위해서는 업무의 모든 부분에서 AB테스트 혹은 가설 기반의 실험은 반드시 필요하다고 생각합니다. 사실,  인식은 못하고 있지만 이미 하고 계실 수도 있습니다.

그 과정에서 비개발자가 가장 어려운 부분은 실험을 진행하고 싶지만, 실험 환경을 셋팅하고 개발팀의 눈치를 보면서 실험 진행 요청을 해야하는 부분입니다. 실험 툴들은 이러한 부분에서의 허들을 아주 많이 낮춰줍니다. Visual Editor가 있고, 기본적으로 클릭 몇번 만으로도 실험을 쉽게 돌릴 수 있는 환경을 만들어주기 때문입니다.

AB테스트 툴 도입을 고민 중이시라면, 우리 조직에서 수행할 실험들은 어떤 요구 사항이 있으며 그것들이 툴을 통해 해소될 수 있는지, 비용 대비 이점은 있을 것인지, 사용성은 어떠한지 등을 종합적으로 고려하여 가장 적합한 툴을 선택하시기 바라고, 여전히 고민이 되는 부분은 마켓핏랩을 통해 문의주시면 자세히 상담드리도록 하겠습니다.