心理实验的本质是通过有计划的控制某些变量，通过创造一定的条件，以探求某些现象背后的原因。可用性测试本质上就是一种实验设计，因此心理实验中的很多思想精髓能够运用到可用性测试中。本文抛砖引玉，观点仅供参考。
在心理实验中，对自变量和因变量的定义如下：
自变量：由实验者所操纵的，对被试反应产生影响的变量
因变量：由操纵自变量而引起的被试的某种特定的反应
在可用性测试中，通常是通过给用户设置一定的任务，让用户完成这一系列任务，通过评估用户的完成时间，正确率等，来衡量产品的使用体验如何。因此在这个过程中：
自变量通常分为：任务的类型、任务的数量、任务的先后顺序等
因变量通常分为：用户的反应时间、任务的正确率等
在心理实验中，与实验目的无关的，但能对被试的反应产生影响的变量叫做额外变量，这部分变量是需要严格控制的，关系到实验结果的好坏。比如被试为了迎合主试而表现出的倾向于选择最佳的结果，主试在主持实验的过程中对被试造成的暗示、实验顺序的影响等。
因此在可用性测试中：
1. 作为主持者，应该保持客观的原则
对于用户在操作过程中的行为表现，不做任何的评价，跟用户强调，这只是测试产品本身，并不针对用户，他的行为没有对错之分。比如之前在一次可用性测试中，用户将产品界面上的一个图标误解为是指代其他的功能，当时我并没有当场指出用户是错的，而是记录了问题的所在，即图标造成用户的误解，是否在可视化展现方面没有做好。
2. 测试的顺序也会对测试结果产生影响，因此需要对顺序进行平衡
1）比如评价两款产品时，对两组用户安排不同的实验顺序，采用ABBA的测试顺序，减少测试顺序对结果的影响。
2）当涉及产品多功能、多维度评价时，可先将功能排序，然后当用户进行评价时，采用依次轮流循坏的方式。
以下为一次可用性测试中，对产品功能多维度进行评价，用户一从功能一开始、用户二从功能二开始进行评价，依次类推，达到平衡测试顺序的目的。
3）在AB测试中，除对比改变的功能点之外，应该在其他方面均保持一致，目的即是控制额外变量的干扰。
比如下图为北森网页的测试案例，旨在了解优化的标题文案是否可以提升文章阅读量。可以看到，在原始版本和试验版本中，除标题文案不同之外，页面其他地方均保持一致，这样就减少了其他无关因素的干扰。
三、任务场景化
实验分为自然实验和实验室实验，可用性测试为了得到更好的结果，需要将任务场景化。
实验按照情境可以分为实验室实验和自然实验，实验室实验由于对于环境进行了严格的控制，因此能够得到比较精准的结果；但相应的，由于是在严格的实验室环境下进行的，实验室环境与真实的现实环境之间存在一定的差异。因此所得到的结果是否适用于现实环境，还需要做一定的考量，即所谓的外部效度。
所以，通常在可用性测试中，要将测试任务场景化，一方面表述上避免了生搬硬套测试任务，另一方面，通过将任务场景化，让用户能够更大程度的从真实的使用场景中去理解和完成相应的产品任务。
比如在Airbnb的可用性测试中，想让用户完成的任务包括：
在网站搜索，并找到想要预定的房间；
下单完成预定。
针对以上两个任务，可以将场景设置为：
“今年 12 月 23 日至 25 日，你要去旧金山，并打算在那里找房子住。您试试找找看，并确定一个您想要居住的房子。”
这里需要注意的是，在场景化任务的时候，应该避免提及任务中的关键词，以免对用户造成暗示，比如避免“请搜索住宿地点”“将你找到的房间进行下单支付”等类似的表达。
四、测试不同使用经验的用户
不同使用经验的用户，阈限程度不同，因此应该测试不同使用经验的用户。
在心理实验中，个体对刺激的感知叫做阈限，用户对于阈限的感知程度因人而异。在可用性测试中，对于不同使用经验的用户来说，对产品的使用感知也不一样。熟练者经验能够直接上手就用，小白用户经常需要参照使用说明进行使用。
因此在招募用户进行可用性测试时，不同使用经验的用户、性别、所使用的设备等，应该尽量进行平衡，在招募用户的时候，可以对用户的基本信息进行记录，然后根据用户的情况安排组织测试的顺序。
在心理实验中，对实验条件最严格控制的是真实验设计，在真实验设计中，包括随机区组前测后测设计、随机区组后测设计等。
随机区组前测后测设计的实验设计模式为：
1. 在正式进行可用性之前，有条件的话，应该尽量进行预测试
与实验设计中的前测一样，在有条件的情况下，可用性测试应进行预测试。预测试即按照正式的测试流程预先进行测试，发现可能存在的问题，在正式测试时候注意。
比如以下墨迹天气分享图表优化测试方案设计，方案1为原始版本（对照组），不做任何改动；方案2将分享按钮变为实心（实验组），测试两种方案设计对分享率的影响。
后记：可用性测试作为一种实操的实验设计，测试结果受到很多因素的影响。因此应该科学的设计测试方案，严格执行，保证每一次的测试都能得到最佳的效果。
注：本文资料引用来源于人人都是产品经理、吆喝科技网站、网易云课堂等。
