在对设计进行测试前先确定方向
和所有工作一样，实用性测试要先有计划才能成行。而且你会发现，在开头拿出一点时间做计划，到后面绝对物有所值。
有了一个简单的指南，你就能知道实用性测试的目标是什么、要寻找的是什么、需要得到的成果又是什么。
对实用性测试的结果进行完善是大家所喜闻乐见的。到实际做起来的时候，你得先知道测试的目的是什么。下面我将为大家讲解如何设定测试目标及实用性指标。
设定实用性目标
很多公司往往在不清楚自身目标甚至诉求的情况下贸然开始实用性测试。
对于这一点我想说，实用性调查的第一步一定是了解自己要找什么——不过说起来容易做起来难。首先，我们需要将测试目标进行归类，然后确认哪一类数据最为恰当。
1.目标归类
有时候把不同的目标进行分类能够带来很大帮助。Google Ventures设计工作室的用户体验研究员Michael Margolis认为确定目标的第一步应当是了解要为哪些问题（他会把问题进行分类）。
这一方法可以帮助我们在与相关人员进行初步会议时评估他们对产品（功能、用户、竞品等）及限制（日程、资源等）的了解程度。
了解清楚后，就可以通过提出一系列问题将团队的注意力集中到调研问题上来（“为什么会有人进入网站但不观看展示视频”）而不是直接提出方法（“我们现在需要从典型群体入手！”）。
· 相关产品信息——你是否了解产品的历史？你是否知道未来会怎么样？现在是探索答案的好机会。
· 用户——什么人会使用我们的产品？你使用自己产品的原因是什么？尽可能具体详尽：人口统计信息、地理位置、使用模式，能找出来的都找。
· 成功——你认为这个产品成功之后什么样？是通过销售量、下载次数、阅览次数、交互次数还是其他方式衡量？要让整个团队都达成一致。
· 竞品——最大竞争对手是谁？你如何与之抗衡？你的竞争能给用户带来哪些好处？
· 调研——在进行调研时这个问题可能看似比较无脑，不过还是要问：你想要知道什么？哪些数据能给你的团队带来帮助？调研是不是马上就能开始不会白白浪费时间？
时间与范围——收集数据的时间范围是什么？截止日期是什么时候？
在完成基准问题后，就可以调转角色，让团队成员写下他们的问题。这样你就可以了解到他们知道什么，他们想知道些什么。
Mutual Mobile的Becky White经常使用下面这个样板方法来缩小目标范围。召集团队，下发便利贴。然后让每个人写下自己对用户和用户体验的问题。收集问题，贴到黑板上。
最后根据彼此相似程度对所有问题进行归纳组织。这时你会发现某些类别的问题要明显多余其它类别——这些问题就可能成为你的测试目标。
如《实用性测试指南》中所述，这一方法还有助于你确认测试目标是否足够简单。你的目标应该简单如“访客是否能找到自己需要的信息？”，不能复杂如“访客是否能够轻松找到我们的产品并做出理智的购买决策？”
如果你想把实用性测试问题作为设定目标的一个手段，可以查看一下Userium提供的网站实用性对照清单。如果你发现有一个或多个类别缺失，那么所缺失的类别正是需要收集数据的地方（同时也是团队在初步Q&A过程中遇到瓶颈时的最佳讨论点）。
2.了解要衡量的内容有哪些
在了解完目标后，就该确定如何运用实用性测试来完成目标了。从本质上说，这其实是在阐明测试的宏观目标。
UserTesting的有关实用性测试的电子书中建议，大家必须先了解哪种类型的反馈对测试结果最有帮助。你的团队是否需要使用图表或评分表？采用单独的用户帐户还是大概数字？书面回复还是语音回复？
不同类型的人群最适用的方式也不同：持有怀疑态度的相关人员比较容易被冷冰冰但切实的图表化定量评分表所说服，而某个用户执行某项任务失败时的视频则比较容易影响到CEO。
这也就是为什么要先确定实用性测试目标。如果你不知道整体的目的和目标，就肯定不知道需要获得哪些类型的反馈和数据。下面的图表可以帮助你了解数据类型的不同对测试类型有何影响。
在确定了目标和要找的数据类型后，就该开始规划实际的测试了。但是在开始以前，先要谈谈指标问题。
实用性指标
指标是有关实用性的定量数据，其对立于口头回复和书面回复等偏重于定性的调研结果。通过结合定量与定性数据，你就能够了解为什么要以及如何解决问题，还能了解到亟需解决的实用性问题有多少。
通过这篇有关定性与定量数据的文章你可以了解到这一点在下图中起到的作用。
简单地说，实用性指标是用来衡量用户执行特定一系列任务时表现的统计数据。Usability.gov上列出了几个比较关键的定量数据：
· 成功率——在特定场景下，用户是否能够成功完成所分配的任务？在进行Yelp网站再设计时我们测试了35名用户，其中这个是最重要、最不可缺少的指标之一。
· 错误率——哪些错误给用户造成的妨碍最大？大致可以分为两类：关键错误和非关键错误。关键错误会造成用户无法完成任务，非关键错误仅会降低用户完成任务的效率。
· 完成时间——用户完成任务所花费时间是多少？这个指标对于确定产品相比竞品的优劣（前提是对两者均进行测试）非常有帮助。
主观指标——以数字形式让用户对自己的满意度、感觉产品的使用简便程度、信息可用性等进行排序。有趣的是，通过将反馈总结成Single Ease Question，你可以将定性的反馈定量化。
Nielsen Norman Group的共同创始人及实用性专家Jakob Nielsen从宏观的指标角度曾说道：“确定实用性指标容易，难的是如何收集。”由于收集实用性指标很难，很费时而且成本高昂，很多预算不高的公司不得不忍痛放弃。
所以说，指标值得你投资吗？Nielsen列出了几种指标尤其有用的情况：
· 跟踪不同版本发布之间的进度——最新的更新是否达到了目的？指标可以告诉你更新是否解决了过往的问题还是需要你进一步调整设计。
· 评估竞争态势——指标是精确确定与竞争对手之间差距的最理想工具。数字永远不会说谎。
· 发布前做出中止/继续决策——你的产品是否做好了发布准备？牢记数字化的目标可以让你清楚知道是否做好了发布准备。
实用性指标总是有帮助的，到考虑到其需要测试大量人员来达到统计显著性（《实用性测试指南》从定量和定性两个角度进行了深入探讨），因此投资成本比较大。
如果你打算收集定量数据，就一定要先获得定性数据以便有一套整体的权衡体系，否则就可能存在大量数字无从用起的风险。在UserTesting的Hannah Alvarez的“人造黄油造成离婚的巧妙诠释”中，你可以看到这一风险在真实世界中会产生何种影响。
总结
在某种程度上说，规划阶段是实用性研究最重要的阶段。只要计划正确，再加上耐心与细心，你的数据一定会准确而且有用。
