产品用户体验质量的模糊评价（2）——层次分析法

通常在产品可用性测试之后，我们能收集到诸多的定量数据，比如：任务正确率、求助次数、任务完成时间和用户主观满意度等方面的数据，并能通过任务完成中的观察和测试之后与参加者的交流获得一些定性数据（如可用性问题和优点），进而通过对这些数据的统计分析获知被测产品的总体可用性状况。但是由于这些度量指标具有不同的属性，对其所进行的简单统计分析就不足以形成对产品可用性的一个可衡量的标准。层次分析的模糊综合评价方法（AHP）为我们处理这些评价数据提供了一种可用的量化统计方式，从而获得用户体验质量的综合性评判。但与灰色关联分析不同：灰色关联分析更侧重于对产品设计的多个方案或者时间版本进行比较分析，其方法是建立在比较的基础之上，而层次分析的综合评价方法则可以对单个产品或设计方案的可用性进行衡量和量化。

当被评事物的属性不明确时，我们根据模糊隶属度函数把被评事物的相关因素合理量化，使模糊环境中的评价在综合性及合理性方面得以保证。并通过层次分析确定被评价因素的权重。结合对总结性测试在这两方面的凋整，进而建立模糊综合评估的模型，对产品的体验质量进行衡量。

层次分析的综合评价方法基本思路是：首先确立评价指标体系，设定评价集并确立评价因素的隶属度函数；然后通过层次分析确定评价因素的权重；对产品的体验质量进行综合评判。

1. 如何确定评价集和隶属度函数：

首先需要确定针对各个指标的评价集V=｛v1，v2，⋯vn｝及评价因素在V上的隶属度函数，一般采用梯形分布以及半梯形分布来构造隶属度函数，以符合用户体验质量渐变连续的特点，把指标的评价标准分为5个等级（很差，差，一般，好，很好），即定义用户体验质量的等级。假设A为指标在评价集V上的模糊子集，那么隶属度函数如下：

以上函数中v为从用户测试中获得的相关指标的可用性结果数据；v1、v2、v3、v4、v5、v6为各个评价标准等级的阈值，针对任务完成率等，阈值分别是0、0.3、0.6、0.8、0.95、1，而针对问卷评分，阈值分别为1、2、3.5、5.5、6.5、7;而 c1、c2、c3、c4、c5分别为区间 （v1， v2）、（v2， v3）、（v3， v4）、（v4， v5）、（v5， v6）的中值。

举个例子：

假设经过测试，某位用户的任务完成率为0.955，那么将该用户的任务完成率作为v代入上述的隶属度函数中，取 v1、v2、v3、v4、v5、v6为0、0.3、0.6、0.8、0.95、1， c1、c2、c3、c4、c5为0.15、0.45、0.7、0.875、0.975，则可以得到该用户的任务完成率的模糊子集｛A1、A2、A3、A4、A5｝为｛0、0、0、0.8、1｝。然后将测试的所有用户的任务完成率模糊子集进行合并则可以得出任务完成率的模糊矩阵。

一点小说明：

针对任务完成时间、操作路径长度等这样一些指标，为了确定相对统一的阈值，需要进行转换，转换的公式为：

，其中x’为转换后的数值，x为转换前的数值，E为针对该指标的期望值，或者说产品预期达到的数值。经过转换后，这些指标的阈值统一为 ｛v1、v2、v3、v4、v5、v6｝＝｛0、0.3、0.6、0.8、0.95｝。

2. 如何确定评价因素的权重：

评价因素的权重需针对具体的指标体系来进行设置，假设当前的一级评价指标包含了n个因素，那么这n个因素两两进行对比，可得到评价因素的权重矩阵A：

aij表示因素Ai相对于因素Aj的重要程度比，符合：①aij＝1（i＝j）；②aji＝1／aij；③aij通过saaty的1－9比率标度法确定，具体如下：

判断矩阵的权重值wi可根据和积法来进行计算，计算方法为：

我们可以采用一致性比率CR对判断矩阵的一致性进行检验，CR的定义如下：

其中λmax是判断矩阵的最大特征值 ，RI是已知的平均一致性指标，判断矩阵阶数为2和3时，RI的值分别为0和0.58。当CR小于等于0.1 时，判断矩阵具有良好的一致性，否则需要对判断矩阵进行重新调整。