跳到主要内容

A / B测试是值得的吗?

大约一个月前在Everhour,我们从私人测试版转向公测版。我们即将进入营销冲刺阶段,让全世界都知道我们的产品 - 一个方便的时间管理和报告工具 - 有多酷。为了更好地为即将到来的促销活动做好准备,我们决定进行详细而明确的分析。

Mike Kulakov of Everhour

Everhour的Mike Kulakov

由于我们要花一些钱,我们自然希望跟踪我们的投资和某些营销技巧的效果。

作为我们分析冒险的一部分,我们计划一次启动两个应用程序登陆页面,以检查哪些页面具有更高的转换率:

  • A)其中包含对应用功能的详细描述,解决的问题,帮助访问者在注册时做出明智决策的屏幕截图

要么

  • B)一个简约的设计页面,其中有一个引人注目的标语,旨在敦促访问者尝试该工具,并自己查看所有的好处。

我们已经调查了这个主题并且遇到了一些很棒的故事,例如37Signals的以下博客文章系列:幕后:A / B测试第1部分;第2部分;第3部分

最后,我们提出了下面提供的两个设计选项,并开始在我们的应用网站上随机旋转它们。

选项A和B.

Option A - Click the image to see in higher resolution

选项A - 单击图像以查看更高分辨率

Option B - click to see in higher resolution

选项B - 单击以查看更高的分辨率

那么,它让我们付出了什么代价?

  • 两个着陆页的样机,包括讨论和编辑
  • 两种设计版本,在宽屏和笔记本电脑分辨率下实现响应式设计行为
  • 图像切片(为宽,笔记本电脑和Retina分辨率准备图像)
  • 编码
  • 开发A / B测试功能
  • 跨浏览器测试

另外:

  • 我们还必须调整每个设计版本的定价,关于和登录页面。
  • 虽然我们没有特别详细说明移动设计,但我们编写了响应式登陆页面。
  • 要获取每个目标网页效果的统计信息,我们会设置Google Analytics。

花费的总时间:96.5小时。

结果

启动目标网页后,我们开始了此处所述的促销活动,经过一个月的积极营销后,我们已准备好最终检查A / B测试结果。

我们对测试寄予厚望。但是数字让我们非常失望,你可以在下面看到(A在顶部,B在下面):

正如您所看到的,整个实验已证明是无用的!两页的统计数据几乎相同,只是转换率的微小差异太小而不能认真考虑。

我们根据结果得出的唯一结论是,我们需要增加转化次数。老实说,即使没有整个测试的事情,它也很清楚。虽然在您将创业公司提交给尽可能多的网站的早期阶段,7-8%的转换率实际上已经足够好了,因此可以获得真正的杂项访问者。目前我们的平均转换率为10%。此外,注册只是衡量促销页面效果的一种方式,而不是最终目标。

结论

就我们个人而言,所有的努力都是徒劳的。我们非常确定任何早期创业公司在对其产品进行A / B测试后都会有同样的想法。但无论如何,每次体验都是一种很好的体验。

即使我们网站上的页面很少,这个过程也非常耗时。如果你有很多呢?准备设计将成为您和您的团队的全职,不间断的工作。当然,您可以在登陆页面上工作,而其他人保持不变,但我们相信您应该在整个网站中遵循相同的风格。

此外,通过A / B测试,您需要继续进行实验,而不是对几个变体感到满意。我们意识到目前我们还有其他优先事项,例如改进应用功能以及重新设计我们的目标网页,以便以最佳方式展示Everhour。

但是,我们并不认为A / B测试总体上毫无意义。我们认为只有在您网站上有大量访问者时才值得尝试。在这种情况下,您将获得足够的数据来决定实际上最适合您的产品。

:Mike Kulakov

Mike Kulakov是时间管理和报告工具的首席执行官Everhour



翻译字数超限