小议用户接受度测试UAT

1.UAT概况

在新版本上线前或上线后，通过目标用户完成一定任务、经历主要使用场景后做出偏好选择的过程，为用户接受度测试。对于上线前的UAT，研究者主要想找出相对优秀或合适的新版待用方案；对于上线后的UAT，研究者则通过UAT验证产品方做出的方案决策效果。

1.1 UAT必要准备

接受度测试必须要开发完整后交由典型用户检验，之前最好经过多种层次的检验（单元、整合和系统的测试），确认各模块基本功能的完整和顺利运行。

1.2 UAT测试内容的选择

根据具体测试目的来定义UAT的任务、用户人群、竞品等等。

任务选择：基本上，移动互联网APP设计基于用户使用需求和使用场景，UAT可以覆盖典型使用场景的主要部分即可，也可以针对测试目的进行任务侧重点调整。例如，MM移动商场改版测试**包括常用操作下载、管理应用等，但因为主要改版重点在首页UI，所以必须增加首页自由浏览任务以用来发现用户对首页改版的偏好。

用户人群：选择UAT的用户样本时需要正视两个问题：用户类型和样本代表性。

用户样本的类型取决于测试重点和需求，可以是全体目标用户，也可以是重点关注用户，如已有用户或新增用户等。

样本代表性问题在上线前测试显得十分重要，主要是因为样本代表性决定UAT结果的推广度和代表性，产品方需要参考UAT结果进行决策，从而该结果的推广影响整个产品后续发展，所以样本代表性至关重要。现在的正式研究主要通过增加样本量的办法来解决样本代表性问题，如测试中使用具有统计效力的大样本（N>=30）。

2. UAT用户接受度测试的缺陷

第一：
只考虑新旧版本的交互/视觉变化对用户的选择影响，忽视了用户的实际使用需求，即是追求新旧版方案间的最优方案。但事实上，即使用户觉得该方案界面和交互视觉等无法挑剔，没有实际的使用需要，用户也不**主动使用该应用。

第二：

研究中用户可能**出于各种因素（比如出于偏向性刻意讨好或贬低移动产品）有意或无意地打高分或打低分。

第三：

用户样本的代表性问题。接受度测试位于产品设计-运营环节的测试阶段，除非资源充沛，一般不**花大量金钱和时间来进行大规模的接受度测试，这个现实直接决定用户样本量规模较小。如果样本量较小且招募不具备代表性，容易导致接受度的结果受到影响，产品线据此结果容易做出错误的决定。

3. 对UAT测试缺陷的解决办法

第一：

为解决这个问题主要从两个方面把关，一是抽取具有代表性的目标用户（一般是已有活跃用户和潜在的新用户），具有使用该产品的需要；二是从问卷或访谈中强调“请根据你自己实际情况来选择”，而非仅仅去客观地判断该产品的改版好不好。

第二：

为了避免用户偏向性问题，可以增加样本量，预期随机误差可以互相抵消。

第三：

解决接受度测试的样本代表性问题最保险的做法是参考**样本量和同行的经验做法。**上接受度测试有统计学效力的样本量至少要30（统计学上定义的大样本），而行业内部分电商网站的新版首页改版时也**选用20-30用户进行接受度测试，其具体做法是把用户划分为有限类别（能够覆盖整体用户类型，稳定用户，购物车用户，浏览型用户，新手用户等），让不同类型的用户按照随机顺序接受候选方案的经典任务流程，其中的用户样本和任务场景尽量覆盖产品的整体情况，最后用户根据自身实际情况对不同的候选方案进行评价。

4.特殊情况下的UAT

4.1同时上线的接受度测试

如果产品方已经圈定新版（跳过上线前测试），在纠结犹豫上线后新老用户偏好新版还是旧版的时候，我们还可以使用逐步开放新版的灰度上线方法（改良版A/B测试）来观察和验证用户对新版的接受度。举例来说，电商首页改版，逐步开放10%/30%/50%/70%的来访用户接受新版首页，此时记录和分析用户的跳出率和PV，根据以往的标准来观察逐步开放过程的用户使用行为变化，最好的结果是10%到100%用户指标表现良好，确定新版首页为用户接受；最差的结果是当开放到某个临界值时，用户指标已经远远差于旧版，可能需要最好回滚/复用准备。

 4.2可用性测试中融合接受度评价

上述的接受度测试必要准备有提到，用户接受度测试需要产品/应用的基本功能完整和顺利运行，用户这时接触产品能够正常使用，并且根据自己的使用习惯和偏好进行偏好度评价。但实际情况是产品线开发周期短，部分产品在为开发完整时就可能需要做出选择，用户接触产品时**遇到一些可用性问题，因此他们**综合评价各个候选方案的接受度。这时候的接受度测试和可用性测试融合在一起。

可用性测试中融合接受度评价的做法能够间接减少用户样本量（权威研究机构Nielsen Group指出可用性测试至少用户5人或以上，而且**出现**饱和度问题），但这种做法直接影响接受度评价部分的代表性，需要在测试结果中明确表明，请产品线谨慎参考和决策。

附录：