优秀产品人必懂的增长实验流程

增长实验是非常重要的驱动增长的方式。它的作用是验证产品、运营动作与增长数据之间的因果性。当提出一个方案后，可以通过A/B测试的方法来验证这个方案是否能够真的驱动产品增长。

一、增长实验全流程

当你想通过增长实验寻找增长爆发点时，往往**出现以下三种情况：

情况一：团队缺乏快速实验、快速迭代的思维。通常做项目时，决策全凭经验及主观判断，一旦决策就直接实施。这**导致团队盲目执行，很容易出现做项目时，消耗大量时间成本，但最终效果没有达到预期，甚至出现业务数据下滑的情况。

• 解决方案：自己先开始做一些增长方案的A/B测试，取得积极成果后再逐步推广到团队，从而逐渐营造公司的增长实验底蕴。当公司的实验文化氛围和技术基础足够坚实后，公司内部可能**由任何一个人发起想法，主导实验的是产品经理。把设计具体化，落到实处。

情况二：团队有实验的思维，但是缺少做A/B测试的正确方法。虽然团队大力推行增长实验-A/B测试，但很快**发现，从0到1推行A/B测试需投入大量人力和时间成本，还易出错。实验如何设计？如何配置样本？如何正确看待实验结论？如果没有正确掌握这些方法，就**发现自己推行的A/B测试并没有提升公司的效率，最终演变成了走形式。

• 解决方案：你需要重点修正和优化自己的A/B测试方法论、掌握A/B测试在每一步需要解决的关键知识，并思考如何快速搭建一个测试环境。

情况三：已经掌握了做A/B测试的正确方法论，但是效率低。很多公司或部门一年做的测试实验甚至还不到10个，试错速度太低，就使A/B测试的效果大打折扣。

• 解决方案：你的目标应该是将实验数量提高10倍、20倍等，通过人才培养、采用更好的A/B测试基础设施，来鼓励高频高效的实验，从而真正通过实验来驱动增长。

1. 增长方法论的核心思维

利用经济杠杆原理推测和假设出适合产品增长的爆发平衡点，通过不断的实验验证，得出准确的爆发点并加以放大，最终达到产品增长的效果。在之前的几篇文章里小编已分别分享了用户生命周期各个环节的增长方法论。在本篇小编将着重分享如何通过增长实验来验证增长假设。

通过制定北极星指标并构建增长模型，找到现阶段关于增长的聚集领域，对这个聚集领域进行中长期（30~120天）的增长验证。找到增长聚焦领域是增长实验效果最大化的第一步。因为当你集中火力攻破产品中一个聚集的切入点时，**对这个点的洞察进一步的剥丝抽茧，无形当中**有更深一层次的认知。

2. 增长实验流程

第一步：产生实验想法。

从聚集领域出发，产生高质量的实验想法。通过从数据中通过洞察的方式，来帮助提高实验的成功率。从而形成一个比较清晰的实验假设。以及形成一个实验想法库。

第二步：确定优先级排序。

针对实验想法库中各种想法，通过排序模型进行实验优先级排序。

第三步：设计增长实验。

有了具体进行实验的想法后，进行细化变成一个可落地的实验方案（开发PRD）。这一步主要是讲述制定实验指标，确定实验受众以及设计实验版本，避免遗漏影响实验结果的重要方面。

第四步：实验开发上线。

制定数据埋点后，开发实验并上线后可根据埋点数据清晰衡量实验结果。

第五步：分析实验结果。

得到结果后，如何通过系统性方法分析实验结果，评估实验结果的可信性并得出可信结论，并放大该结论的实验影响。

二、产生实验想法：明确实验目标

从聚集领域和用户业务问题本身出发确定实验目标，并通过多种数据分析方法从数据中寻找可以形成合理实验假设的依据。从而产生高质量的实验想法。

第一步：明确实验目标

大多数人可能在增长实验刚开始时就找错了出发点，往往**以自身想法出发考虑产品的可能存在的问题，比如某个页面设计难看、某个功能，老板说要改等。这类想法过于主观，以至于整体实验立于错误的出发点，导致了实验失败。正确的实验出发点，应结合产品现阶段的用户特征和业务问题进行思考和总结可能存在的问题。比如用户下单完成率低，应如何解决？用户反馈这个业务流程过于繁琐，应如何改善等。

第二步：寻找数据依据

从数据中寻找假设依据，是产生高质量的实验想法的关键。所谓高质量的实验想法，就是经过实验验证后，这个实验想法的成功率高，实验指标提升幅度大。通过数据寻找洞察形成高质量假设主要可以通过以下步骤来实现。

步骤一：从三类数据中寻找证据支持假设

我们通过定量数据、定性数据、实践案例中寻找证据支持假设的真实性。三类数据所能提供的证据类型是不同的，

• 定量数据可以定位假设想法的来源出处。比如：定量数据可发现下单流程中哪一个节点的转化率低，导致整个下单完成率低。
• 定性数据可定位假设的想法的产生原因。比如通过定性数据分析下单完成率低的原因。
• 实践案例则提供了通过何种方法优化假设想法效果更好。比如其他竞品在下单流程中是通过何种方法提高了下单完成率的。

根据实验类型，从上述三类数据中寻找证据支持假设。

定性分析案例：电商有货APP提升销售额

• 实验目标是提升有货APP的商品下单漏斗转化率。通过定性分析发现，多数用户都**担心在平台买到假货。因此作出的实验假设为：在商品详情页首屏加入“平台鉴定通过后发货”的文案，可以提升下单率和支付转化率，因为消除了用户顾虑。通过增长实验后，下单率提升了46%，支付转化率提升了70%。

最佳实践案例：饿了么下单促销页通过LIFT模型提高转化率

• LIFT模型：基于数据基础，在产品信息中探寻问题，设计有关解决这些问题的假设，通过实验得出改进问题的结论，进而提升转换率。

影响LIFT模型的六个因素：

1. 价值主张：是产品转换率的载体，是产品和服务最重要的属性，是从客户的角度来看产品的匹配点和差异点。通过优化认知、性能、情感、用户心理价位四个方面来降低用户心理认知障碍，提升用户的行动力。
2. 相关性：为用户提供符合预期需求的信息和产品，并且其内容与价值主张最相关。通过优化用户行为漏斗相关性、渠道来源相关性、目标受众相关性、产品导航相关性来保持潜在用户从兴趣到使用产品的注意力。
3. 清晰度：通过提高信息层级、设计、文案、用户召唤行为四个方面的清晰化，来保障页面清晰度。高清晰的沟通是可以清楚并快速传达你价值主张和用户召唤行为，让用户通过更低认知学习成本的使用产品。
4. 紧迫性：紧迫性是和决定周期的长短相关的，通过优化内在紧迫性、外在紧迫性，利用害怕失去的感觉，减少用户决定周期的长度。
5. 焦虑性：通过优化隐私焦虑感、可用性焦虑感、完成性焦虑感，将焦虑感来源最小化，把焦虑感转化成优势来刺激用户行为。
6. 注意力分散：当面临太多选择的时候，人们因为无法选择而放弃。通过聚焦第一印象注意力。把最重要的事件牢牢印在用户的脑海里。

步骤二：通过数轮数据分析提升假设质量

通过定量数据、定性数据、实践案例中找到多个初步假设，此时我们可以通过多轮的数据分析，排除掉不靠谱的假设，找到新的证据支持某些更有力的假设，也可能通过分析找到新的假设，提升假设的质量。

第三步：形成实验假设

先通过一个案例来分辨一下什么是清晰的实验假设。

• 假设1：发布公号文章可以带来新用户。
• 假设2：发布公号文章可以带来100个新用户。
• 假设3：发布1篇原创公号文章可以带来100个新用户。
• 假设4：发布1篇原创公号文章2周内可以带来100个新用户。
• 假设5：发布1篇关于产品增长的原创公号文章2周内可以带来100个新用户，因为这篇文章**给大家介绍产品增长的核心模型。

从上述假设就可以发现，一个清晰的假设是实验成功的基础前提。

实验假设的输出标准：

产生实验想法时的两种常见状况：

可能对实验并没有好的想法，这时候可以通过团队的力量来推动实验想法的产出。比如：

• 竞品分析：团队内每位成员选择一到两个产品的重要流程进行演示，然后进行内部讨论，记录有参考价值的案例和想法。
• 头脑风暴：团队内针对某实验目标，进行脑暴，产品实验想法集。
• 问题风暴：针对某一主题，进行问题风暴。提出并收集问题。归类问题并优化问题，评选出最重要的问题。通过数据分析或实验寻找问题结论。

团队已经有很多想法，需要对这些想法进行优化。可以通过实验想法库来进行管理。

三、优先级排序：ICE模型

1. ICE模型概述

ICE模型通过将大量的实验想法放在影响范围（Impact），成功概率（Confidence），实现程度（Ease）三个维度下进行粗略的评分，得到增长实验假设的优先级进行排序。

ICE 各项指标的打分依据：

• 预期影响（Impact）：实验能影响用户的覆盖度。实验成功后，指标提升幅度。
• 成功概率（Confidence）：数据的支持力度
• 实现难易（Ease）：完成实验所需成本的消耗程度。

案例：ICE 模型打分表

从上述打分，可以得到「酒店详情页加入“全网最低价”的文案提醒」这个实验想法的优先级最高。可以优先进行增长实验。

2. 扩大影响范围

大多数实验都没有覆盖足够的用户，绝大多数核心产品团队只关注核心用户。然而

• 核心用户可能只占活跃用户比例25%以下。
• 活跃用户只占所有注册用户比例50%以下。
• 注册用户可能仅占所有登录过产品但未成为注册用户的访客的20%以下。
• 而接触过产品的渠道访客远小于外部渠道所影响的用户体量（外部渠道过客）。

因此如果仅关注核心用户，那么实验的影响力**十分局限。所以扩大增长实验的影响力的本质就是尽可能的覆盖更多的用户。在这里我们可以通过主动扩大群体覆盖面，关注非核心用户和从流量高的页面或路径进行多次实验的方法扩大实验的影响范围。

3. 提升实现程度

提升容易程度即降低实验成本，最好的方式就是通过 MVP的方式以最低成本验证实验假设。而设计增长实验MVP时需要考虑如何投入最小资源，最快证明实验假设。实验是否可以提供可信的有效的结果，不能因为过度的实验简化和成本缩减而影响了实验的可信有效程度。

案例：通过 MVP 验证实验假设：根据不同的用户画像，制定个性化注册流程。更好的满足用户需求。

这里要注意的是ICE模型仅仅是一个优先级排序的参考框架。并不是一门绝对精确的排序算法。不要消耗太多的时间成本去追求完美，而要不断的提高实验频率和次数来确保实验性价比。

本次就分享到这，祝大家周末快乐。

#专栏作家#

杨三季，微信公众号：杨三季，人人都是产品经理专栏作家。7年互联网经验的高级产品官，深耕内容电商，互联网保险领域，擅长产品增长、数据分析、中台架构等内容。

本文原创发布于人人都是产品经理，未经许可，禁止转载

题图来自 Unsplash，基于 CC0 协议