在实践中进行用户测试和评估

2019工业信息安全技能大赛个人线上赛第一场圆满收官。在保障竞赛平台成功稳定运行的同时,更多的还是思考竞赛平台在本次支撑过程中的用户体验,用户测试与评估情况。作为专业为工业信息安全打造的人才测评选拔和竞赛平台,实际的竞赛活动就是检验和测试产品最好的试金石,也是用户测试环节的最佳测试环境。
在产品设计与优化过程中,产品用户测试与评估环节是指请符合测试要求的目标用户来完成一些特定或具有代表性的任务,观察并记录用户使用产品的整个过程,包括用户使用的顺畅程度和情绪等多个方面。测试过程不是应对用户的不满和要求,而是通过观察用户的行为操作及情绪等方面来把握用户的实际使用情况。用户测试有时也会称为产品可用性测试,可用性测试的定义是“特定用户在特定的使用场景下,为了达到特定的目标而使用某产品时,所感受到的有效性、频率及满意度”。用户测试也作为竞品分析和市场调研的方法,我们会经常性的使用用户测试的方法对其他厂商的产品进行评测,为自身产品的设计提供参考。
对于目前市面上存在的网络安全竞赛平台而言,用户使用情境和目标就是支撑网络安全赛题展示交互与赛题答案提交,并为选手输出可定量和定性的评估结果。满足了这样的前提,我们才能使用有效性、效率及满意度等这些标准来对其进行评价。竞赛平台经过在我们典型的可用性实验室及产品测试团队的可用性测试的基础上,经历了2018工业信息安全技能大赛多个场次的用户使用测试,在产品的可用性上,已经具备了提供网络安全赛题展示交互与赛题答案提交并提供定量和定性评估结果的目标和功能,即产品已经具备了可用性。
在2019工业信息安全技能大赛的支撑上,我们对竞赛平台后续需要的可用性测试目标进行了进一步梳理,即在2019工业信息安全技能大赛过程中,我们的产品团队对竞赛平台的可用性测试的测试目标是什么?也就是我们做可用性测试到底要测那些内容,想知道些什么信息?根据标准的可用性测试方法及流程,一般来讲可用性测试主要分为三大内容:
第一:首先是有效性。是否有效就是说用户是否能达成自己的目标,比如网络安全竞赛,有效性就是用户能够进行赛题交互、提交答案并输出定量和定性结果,如果提交不了答案就是有效性出了问题,那这个竞赛平台就没有存在的价值了。所以有效性问题就是首要的必须要解决的问题。
第二:效率。效率就是用户不用做无用功,能以最快路径达成目标,仍然以网络安全竞赛为例,如果用户在竞赛过程中需要反复操作很多次才能完成任务,那就存着效率问题了,严重的效率问题就是有效性问题。
第三:满意度。满意度是在有效性和效率两方面都没有大问题的情况下,有没有给我们的用户带来不愉悦的体验,这就可能涉及到很多方面很多细节,比如用户注册的时候会不会要求输入过多的信息,或者系统反应及不及时等这种问题。
基于这三个基本要素的标准可用性内容,我们竞赛平台的可用性测试需要在有效性、效率及满意度上继续深挖,以比赛作为契机,竞赛用户选手作为测试评估的主体,它基于真实的用户数据进行评价,相对客观,拥有较强的说服力。用户测试的目的是发现问题,改善我们的设计,挖掘潜在的需求。其测试评估价值巨大:
第一,它能够挖掘潜在的需求。挖掘潜在需求是根本,决定了产品的发展方向;
第二,发现并解决产品存在的问题。发现需要解决的问题,包括界面框架逻辑结构交互等等是否合理,用户体验是否良好;
第三,降低产品周期成本。边做边测试评估,通过快速迭代降低交互设计的周期成本,或者对产品迭代提供良好的参考意见;
第四,增强设计说服力。用户测试可以用鲜活的案例,鲜活的数据等增强设计的说服力。
我们在竞赛结束后以电话调查和采访的方式对选手进行抽样用户测试数据采集,并将采集的测试评估数据记录并进行梳理归纳处理,最终输出我们需要的调查评估数据。在整个过程中,用户测试基本流程需要精心设计。根据经验,我们将用户测试基本流程分为四大部分:
第一:首先需要明确本次测试的目标,然后由用户研究员设计参与者在测试过程中需要完成的任务及测试脚本,由于本次是直接在竞赛过程中对用户进行用户测试,因此本次竞赛选手即为我们需要招募的测试用户。根据年龄段及社会经验作为招募标准和调查对象筛选条件。因为测试中设计什么样的任务和你要描述的用户操作直接相关,确定了前者,后者也就更加明确了。

在实践中进行用户测试和评估