apm测试代表什么意思()

本文为“互联网产品成长大会”特约编辑。

在网站和移动产品的设计开发，以及互联网产品的运营中，我们经常面临产品设计和运营方案的多重选择，比如一个按钮应该是红色还是蓝色，应该是左侧还是右侧。传统的解决方法通常是集体讨论和投票，或者由专家或领导决定。当你不能做决定的时候，你可以在网上随便选一个。虽然传统的解决方案在大多数情况下是有效的，但A/B测试可能是解决此类问题的更好方法。

在软件开发中，产品需求是通过各种技术手段实现的；A/B测试实验为评估新功能对客户行为的影响提供了一种有价值的方法。

在操作过程中，比较常用的是AB测试，比如发邮件或者广告，先取一个小样本，测试多个版本。如果数据显示哪个广告或邮件的转化率高，就用哪个邮件或广告。

1什么是A/B测试？

A/B测试是一种流行的网页优化方法，可以用来提高转化率、注册率等网页指标。简单来说就是为同一个目标制定两个方案(比如两个页面)，把产品的用户流量分成A/B组，一个实验组，一个对照组。两组用户具有相似的特征，并且同时运行。运行一段时间后，可以分别统计两组用户的表现，然后比较数据结果，可以科学地帮助决策。例如，在本例中，50%的用户看到版本A页面，50%的用户看到版本B页面。这样一来，A版用户的转化率为23%，高于B版的11%。在流量足够的情况下，可以判断A版胜出，然后向所有用户推送A版页面。

AB测试本质上是一个单独的组间实验。以前AB测试的技术成本和资源成本都比较高，但是现在随着一系列专业可视化实验工具的出现，AB测试越来越成为网站优化的常用方法。

A/B检验实际上是一种“先验”的实验系统，属于预测性结论，与“后验”的归纳性结论有很大区别。A/B测试的目的是通过科学的实验设计、样本代表性、流量分段和小流量测试，得出具有代表性的实验结论，并且相信结论可以推广到所有的流量。

2有没有自然发生的AB测试？

A/B测试并不是一种新发明的互联网测试方法。其实自然界也有类似A/B测试的事件，比如下图达尔文雀。

达尔文雀

达尔文雀主要生活在东太平洋加拉帕戈斯群岛一个名叫伊莎贝拉的岛上。他们中的一些人住在岛的西部，而另一些人住在岛的东部。由于生活环境的细微差异，它们进化出了不同的喙。这被认为是自然选择理论的一个重要例子。

同样的鸟，哪个喙更适合生存？大自然给了她解决方案，让鸟自己变异(多种设计方案)，然后优胜劣汰。以达尔文雀为例，喙在不同的环境下有不同的解决方案。

虽然上面的例子与网站设计无关，但它包含了A/B测试的核心思想，即:

1.多个方案的并行测试；

2.每个方案中只有一个变量(如喙)不同；

3.有一定规则的优胜劣汰。

需要特别注意的是第2点，它隐含了A/B检验的应用范围，必须是单变量的。

3什么情况不适合做A/B测试？

有时候，几个设计稿可能差别很大。这样的情况一般不适合A/B测试，因为这里面的变量太多，相互之间的干扰会更多。通过A/B测试很难找出每个变量对结果的影响程度。

另外，虽然A/B测试名只包含A和B，但不代表只能用来比较两个方案的好坏。其实可以设计多种方案进行测试。“A/B测试”这个名字只是一个习惯性的名字。

回到网站设计，一般来说，每个设计方案应该大致相同，只是在某个地方有所不同，比如布局、文案、图片、色彩等。然后给不同的用户展示不同的方案。

应该注意，不同的用户在一次访问中应该总是看到相同的方案。比如他一开始看到A计划，就应该在这次对话中一直给他看A计划，而不是一会儿给他看A计划，一会儿给他看B计划。同时也需要注意控制每个版本的访问人数。在大多数情况下，我们希望将访问者平均分配到不同的版本。做到这一点很容易。根据cookie(比如cookie会话ID的最后一位数字)来决定显示哪个版本是一个很好的方法。

以下是A/B测试图:

如您所见，为了实现A/B测试，我们需要做以下工作:

1.开发两个(或更多)不同的版本并部署它们；

2.收集数据；

3.分析数据，得出结果。

4哪些公司在做AB测试？

A/B测试和GitHub、Docker、APM一样，已经逐渐被美国市场的各个企业采用，比如Google、Airbnb。

其测试范围不仅限于网页优化。目前移动端的A/B测试需要同时支持前端(Web/H5、iOS、Android)和后端(Node.js、PHP、Java)。

有哪些stage 5公司适合做AB测试？

自己测试AB需要大量的人力物力。大公司有大量的用户。如果做AB测试，可以继续投入。每一笔投资的价值也很大，这是公司里最重要的。

很多中小公司有条件，但不一定有执行和分析的经验或能力。但是现在一些第三方服务公司提供工具，方便AB测试，降低门槛。比如喊单科技(http://www.appadhoc.com)就在这方面做得非常好。

初创公司，在产品没有经过验证的时候，或者用户数量很少的时候，不适合做AB测试。

6如何利用A/B测试进行成长？

AB测试是煽动理性成长的最重要的工具之一。AB测试背后的想法是用数据来帮助你做决定，帮助你做出更好的决定。很多事情不再是靠艺术创作、想象和拍脑袋来做，而是靠数据来做，这是一种像你写代码、做分析一样非常理性的模式。

如果没有AB测试，如果公司盲目前行，会造成很大的损失。

当脸书强迫它发布任何大的功能时，你应该首先做好计划，同时做好预期。计划是你发布这个功能后的周期是多久，你的预期是它对用户的数据会产生怎样的影响。一般来说，用户的活跃度会提高或者用户数量会增加，但也可能有其他影响。比如一个用户的在线时间会下降一点，因为你更有效，或者会对用户的用电量产生影响，对其流量的损失产生影响。

A/B测试的数据结果出来后，我该如何选择？

从数据结果上分析客观效果，但往往需要根据用户体验和总营收做出妥协。

《成长黑客》的作者范炳讲了一个People.com的案例。在互联网出现之前有一段时间，销售人员和产品经理在互相撕扯。销售人员认为，为了获得更多的销售，我们必须确保用户给的钱越多，我们给他的特权就越多。

人际网络A/B测试

他们想象左边的图片。用户在我的平台上发小帖后，谁给钱多，我就给你顶位，同时给你一个广告位，也就是红标，其他给钱少的，会在比较靠前的位置。就是你给的钱越多，我给你的标签就越多，来提升你的地位。这是销售人员的思维；

产品经理的思路是对的。虽然你给钱，你是我们的靠山，你很重要，但是我要注重我们的产品体验。你给钱我就让你上去，其实上面全是广告，谁给钱谁上去，有点像百度。像现在这样，他们暗示我们的产品是对的。不管你给多少钱，我最多给你一个亮点，所以你

当时为此，双方展开了激烈的战斗。撕一般是无果的，因为公说公有理，婆说婆有理。后来他们想到组织一次AB测试，发了两波用户。看看这两波用户呈现了两个不同的页面。哪一波用户最后转化率高，收益高，综合其他指标判断。

结果如何？

从我们的直觉来看，一定认为产品经理的决策是对的，最后一定要用产品经理的方案。

结果右边的产品经理方案好，他的数据更高，但是最后用的是左边的方案。为什么？因为测试结果的反馈显示，虽然右边的两个方案更好，但是他的好方案只精确到小数点后千分之一，也就是比前面的方案好一点点而已。虽然好一点，但是左边的方案吸引的钱更多，左边的方案可以吸引人们投入更多的钱，花更多的钱。既然只是一点点，当然要用左边的。所以经过测试，他们最后用了左边的方案，这是意料之外的。

因为AB考的重要，AB考的成绩在右边确实不错，但是有时候也要结合实际。如果差别不是很大，你可能要选择一种更赚钱的方式，这是AB考的一个很大的价值。不要偏信数据，不要完全被数据左右，有时候要结合自己的一些理性思考。

AB测试的具体实施流程是怎样的？

其实很简单。可能在座的各位都有一定的印象。比如你有一个网页，是你用户流量的页面，你用上面的绿色作为代表。如果你现在的页面转化率只有23%，你希望调整它，改变它，通过某种黑客把它改成蓝色的页面，希望提高它的转化率。

那么AB测试能做什么呢？让有访问流量的访问者，一半或部分访问者看到旧的绿色版本，部分访问者看到新的蓝色版本。这些用户自己并不知情，他们不知道自己被分配到实验中，他们还是按照自己的行为，他们会买东西，会退出什么的，然后你就可以看到他的转化率有没有变化。如果我们看到一个非常不好的现象，这个蓝色版，反而它的转化率只下降了11%。结果你的老版本还是赢了，说明你的改进方案不成功，所以你会想到别的方案去改，你总会想办法提高转化率的。

9 AB测试需要注意哪些经验或规律？

1.效果惊人。一些微小的变化可能会对你的KPI产生巨大的影响。

2.大部分改变都不会带来KPI的显著提升，所以你需要耐心。

3.泰曼法则，任何看起来出乎意料的图表，通常都是因为统计数据是错误的。

4.每个产品几乎都不一样，如果照搬别人的经验，往往没有效果。

5.任何能加快用户响应时间的改变，都会带来KPI的正向提升。

6.点击率容易提高，流失率难提高。千万不要把重点放在优化某个页面的点击率上。

7.尽量不要做变化很大的复杂实验，要做简单的小迭代。

10脸书在其发展过程中如何使用A/B测试？

据前facebook工程师、现峰瑞资本技术合伙人覃超介绍，脸书的成长过程分四步走:

1设计关键数据面板2关注核心行动3发现增长规律和模式4灰度发布和AB测试

具体灰度释放和A/B测试分为以下步骤:

1.计划:根据新职能制定改版计划；

2:预期:数据会如何变化；

3设置多个版本:逐步向用户开放；

4:清除旧版本。

6个月内，所有版本全在线灰度发布，通过持续的用户流量细分，进行实验获得无bug口碑。

1还有哪些区域也用AB测试？

受控实验，也称为随机实验和A /B测试，在许多领域都产生了深远的影响，包括医学、农业、制造业和广告业。

通过随机化和适当的实验设计，实验构建了科学的因果关系，这就是为什么对照实验(A/B试验)是药物试验的最高标准。

考虑到后验方法的局限性，西医(现代医学)首先引入了A/B试验来验证新药的疗效。新药的验证可能是这样一个过程:100个病人被测试的医生悄悄分成AB组。注意患者自己并不知道自己被分组了。注意AB组患者的健康状况要接近相同；A组患者将获得实验性新药，B组患者将获得与新药几乎相同的安慰剂。最终，如果A组患者的疗效优于B组，就可以证明新药的疗效。

1A/B测试的价值是什么？

AB测试的实验能力可以用一种更科学的方法来评估创意在规划过程中不同阶段的价值。

A/B检验实际上是一种“先验”的实验系统，属于预测性结论，与“后验”的归纳性结论有很大区别。A/B测试的目的是通过科学的实验设计、样本代表性、流量分段和小流量测试，得出具有代表性的实验结论，并认为该结论可以推广到所有流量。

通过值得信赖的实验加速创新。通过解决技术和文化挑战，我们给软件开发人员、项目经理和设计师一个“公平的耳朵”，帮助他们倾听客户的真实需求，并根据数据做出决策。

1A/B测试有哪些应用场景？

A/B测试方法被广泛使用，包括在Web产品、移动产品和数字广告优化领域的应用。

应用场景从小到大可以分为:

元素/控制级别

功能级别

产品级别

公司层面

1A/B测试中需要用到的基本概念是什么？

样品空室，样品特性，实验流程

假设这是一个有100万用户的电商APP。

Sample 空房间:100万用户

样本特征:这100万用户有各种各样的特征(性别、地域、手机品牌、型号，甚至是喜不喜欢点击按键)。。)

实验流量:100万用户变成100%流量；假设这100万用户按照样本特征和相似性规则分成100组，每组10000人，这10000人就是1%的流量。

抽样、代表性误差、聚类

相似性抽样:在A/B测试实验中，需要保证小流量的实验具有代表性，也就是说1%流量做出的实验结果可以推广到100%用户。为了确保这一点，需要确保1%流量的样本特征与100%流量的样本特征相似。(说一个最简单的逻辑:假设所有小米手机用户均分为这100组，第一组所有小米手机用户的特征与第2-100组所有小米手机用户的特征相似)

代表性误差:代表性误差，又称抽样误差。主要指用样本数据推断总体时产生的随机误差。理论上这个误差是不可避免的，但是可以计算和控制。(继续，小米。。虽然小米用户被平均分为100组，但无法完全保证每组小米用户的数量、性别、地域等特征完全相同，这就带来了实验误差的风险)

聚类:将一组物理或抽象的对象划分为由相似对象组成的多个类的过程称为聚类，即在分配小米用户的过程中，根据不同的实验目的，将特征相似度高的用户视为一类用户。比如100次点击被定义为高频点击，99次点击的用户在某些情况下可能被认为是100次点击的一类用户。

置信度和置信区间

在统计学中，概率样本的置信区间是样本一般参数的区间估计。置信区间表示该参数的真值有一定概率落在测量结果附近的程度。置信区间给出了被测参数测量值的置信程度，即前面要求的“一定概率”。这个概率称为置信水平。

信心:简单来说就是信心的程度。一般来说95%的置信度是好的，一些极其严谨的A/B测试实验会达到99%的置信度。不同的是，置信度越高，实验时间越长，对流量的要求也越高。

置信区间:前面的概念里提到过，1%的流量虽然有代表性，但和100%的流量还是有区别的。所以对实验结果的判断必须有一定的前提。自信是这个前提。置信区间是指实验结果很可能落在该置信水平下的一个区间内，如下图。在95%置信度的前提下，置信区间为[-2.3%]说明本次实验结果仍不稳定，可能是测试时间短或流量不足。

15数据驱动决策和确定性提升的含义是什么？

数据驱动决策:A/B测试是典型的可靠数据驱动决策。先用A/B测试法，让比如1%或者5%的用户进行实验，让用户用自己的实际行为告诉你哪个更好。比如，1%或5%的用户通过“点击次数”告诉你，他们不喜欢橙色的设计。这是数据驱动的决策。你不需要一屋子人拍桌子，我盯着看，争论哪个设计好。让真实的用户和数据告诉你哪个更好。

确定性的提高:这个更好解释。有了这样一个工具，它只会在每次效果好的时候上线，也就是说每次优化都可以比以前更好，大大提升了用户体验和产品经理的自信心。

1 Airbnb的产品如何在AB测试？

Airbnb经常使用灰度发布和A/B测试来修改重要页面和优化流程。通过对1%或5%的用户进行灰度发布，我们可以看到其对用户数据的实际影响(访问时间增加，留存提高，订购率增加等。)并决定这个修改是100%公布还是截掉。

Airbnb从第一天开始就在做A/B测试，不仅在自己的系统中，还借助第三方工具，确保所有的决策，从产品，到运营，甚至到策略，都是数据驱动的优化决策。每一个改变都是先用1%的流量进行测试，然后推到5%，再推到10%，再推到20%，再推到50%，最后发布给所有用户。

通过A/B测试，他们还有一个关于推广文案的结论:向用户展示“利他”的文案比“利己”的文案更容易带来转化。如图，告诉用户“邀请好友可以获得25美元”的效果，不如“给好友25美元旅游费”的效果令人印象深刻。

Google怎么做AB测试？

Google每个月从数百个A/B测试中找到十几个有效的解决方案，每月收入增长2%左右，达到10亿美元的规模。很难解释移动一个像素留下的广告位带来X%的增加，而移动两个像素留下的广告位带来Y%的损失。

在谷歌，任何产品变更都需要A/B测试才能上线。

谷歌生命科学部门负责人安迪·康拉德(Andy Conrad)在《财富》杂志的一篇文章中提到:

对于一个问题，拉里会尝试用一种或两种方法来解决，他会同时押注这两种策略。

谷歌几乎所有的产品目录似乎都要经过大规模的A/B测试。就像谷歌的搜索引擎不断从网络上收集数据来学习和改进一样，谷歌本身也是如此。它为一个问题提供了多种解决方案，希望能决定谁是赢家。

这种多产品策略有利于谷歌的长期健康发展，但也浪费了大量资源。到处都是重复性的工作，但是Google的Adsense和Adwords带来了这么多收入，至少Google现在能负担得起。

谷歌经常喜欢为同一个客户群推出多种竞争产品。这样，如果一个产品失败了，也许另一个产品可以弥补。最极端的例子是谷歌的即时通讯解决方案。Android曾经有四个不同的产品:Google Talk、Google+ Messenger、Messaging(Android的短信应用)和Google Voice。Google Hangouts最终胜出，将其他所有东西都合并到一个平台上。

谷歌通常就是这么做的。他们的行动表明，他们不相信一个问题只有一个解决方案，即使这会让用户的生活好很多。因为它要和各个领域的外部竞争对手打交道，而谷歌似乎认为，如果没有竞争的理由，就不能来自内部——让自己的产品自相残杀。

18网上销售的定价策略可以用AB测试吗？

在产品迭代、推广等因素的影响下，什么时候降价才是对自己最好的策略，完全可以通过A/B测试来解决。

9如何在移动端做基于A/B测试的灰度发布？

就移动产品而言，iOS应用商店的审核期是一个很大的漏洞，任何bug都要重新打补丁，也就是说用户在补丁的审核期内带着bug使用。这太致命了，用户的获取成本太高了，因为这个损失太不值了。基于A/B测试的灰度释放更重要的不是优化，而是保护性释放。先通过小流量的实际用户测试。如果有bug或者新版本没有好的体验，那就太重要了。

20为什么很多公司实施A/B测试结果很差？

大部分产品或功能上线前都经过测试。其实很多测试行为都是不科学的，尤其是很多有针对性的用户测试往往都有这个弊端。简而言之，如果所有R&D的工程师都对一个新推出的功能表示肯定，这是否意味着所有用户都感觉良好？很多情况下是负面的。当然这个例子比较简单。其实很多A/B测试方法都没有考虑这个问题，以至于最后的结论和实际情况相差很大。

为解决这一问题，要求进行采样、聚类、流量分段等。都很高，这也是为什么A/B测试工具不能像很多统计工具一样，在一个被埋没的地方看数据，然后根据数据推导出业务逻辑。而是应该与业务充分结合，从一开始就应该考虑业务策略，让用户选择符合自己口味的产品。

AB测试优化产品的方法在国外已经得到了广泛的应用。现在，这种代表先进生产力的方法，像GitHub、Docker、APM，正逐渐被国内开发团队接受。如果你的公司缺乏专业能力和管理，可以尝试使用www.AppAdhoc.com优化平台，提高产品设计、R&D、运营和营销的效率，降低产品决策的风险。同时也能帮助用户用数据优化移动广告，让流量的变现价值更大。

现在的互联网公司，尤其是创业型公司，面临着前所未有的竞争压力，好的创意和被用户接受的想法之间存在着各种难以逾越的鸿沟。尤其是在竞争激烈的情况下，谁先拔得头筹，就可能成为赢家通吃的局面。

如果你想提高自己的竞争力，快速验证想法，迭代产品，做数据驱动的成长，建议你来参加互联网产品成长大会，听听国内那些通过低成本预算获得上亿用户的著名公司创始人是怎么说的，比如饿了么联合创始人王元，触宝科技联合创始人兼CEO王嘉良，WiFi万能钥匙联合创始人张发友，讲讲成长的秘诀。

我相信你投入的268元门票会获得100倍甚至1万倍的回报。

以及一些有成功成长经验的专家，包括陆金所网站产品管理部副总经理唐浩、《成长黑客》作者、《成长IO》CEO(前领英高级总监)、喊单科技CEO(前谷歌工程师)、360奇酷粉丝运营总监雷、Teambition成长团队负责人钱卓群、触宝科技成长团队负责人杨、投资合伙人(。

来源:PMCamp

数据分析网(www.afenxi.com)是国内领先的大数据门户网站，旨在帮助大数据从业者和爱好者提供大数据新闻、前沿技术和行业观点的信息平台。