[发明专利]一种质量评价方法和装置

说明书

公开了一种质量评价方法和装置。基于多个激励中至少两个激励的已有评价数据，得到针对所述多个激励的配对比较综合结果。基于配对比较综合结果，分别确定至少一个激励对的期望信息增益，其中激励对包括多个激励中两个不同的激励。基于期望信息增益，从至少一个激励对中选择用于进行本轮次配对比较的激励对。另外，还可以对配对比较综合结果和本轮次配对比较结果进行融合，得到更新后的配对比较综合结果，以用于下一轮次的配对比较过程中期望信息增益的计算。由此，可以基于ACR实验结果或质量评价模型打分结果，加速配对比较实验进程，实现实验成本和实验精度之间更好的折中，使得实验成本最小化，实验精度最大化。

技术领域

本公开涉及一种质量评价方法和装置，特别涉及一种数据对象的质量评价方法和装置。

背景技术

目前，在诸如多媒体视觉感知等方面的各种质量评价实验中，最常用的方法为绝对分类评分(ACR，Absolute Categorical Rating)方案，让实验人员(或称为“观测者”)使用李克特量表(Likert scale)，选择1-5分来对评价对象进行打分评价。1代表非常差，2代表差，3代表中，4代表好，5 代表非常好。

ACR方案的好处是时间复杂度较低，仅为N，即对于N个评价对象，观测者仅需要执行N次打分评价。因此，ACR方案被广泛使用。

然而，在某些情况下(例如VR视频的视觉疲劳，AR视频的自然度， HDR视频的质量)，视觉感知的评价很难用李克特量表(Likert-scale)，即， 1-5分来打分评价。这是因为观测者对于打分概念可能会非常模糊。这样， ACR方案对于观测者而言较为困难，相应地，评价结果也较不精确。

在这种情况下，可以使用配对比较法(pair comparison)来实现这种困难的实验。每次实验中，观测者对评价对象进行两两比较，从一对评价对象中选出符合要求的评价对象。例如，在视频质量评价实验中，要求观测者每次观看两个视频，从中选出质量好的那一个。

对于观测者而言，与在没有比较对象的情况下对单独某个评价对象进行ACR评分相比，在两个类似评价对象之间选择更好的一个要更加容易一些，甚至可以说是容易得多。这样，使用配对比较法可以显著降低实验难度，获得更准确的结果。

然而，在实际应用中，配对比较法最大的问题在于其时间复杂度为 N²，即，需要对所有评价对象能够两两组成的每一个评价对象对都进行对比评价。如果需要评价的视频数量巨大，例如1000个，则每个实验人员需要对1000×999/2＝499500个视频对进行比较。

因此，期望有一种评价方案，其以低于上述配对比较法的时间复杂度实现高于ACR方案甚至与配对比较法相当的实验精度。

发明内容

本公开要解决的一个技术问题是提供一种质量评价方案，其能够以低于上述配对比较法的时间复杂度实现高于上述ACR方案的实验精度。

根据本公开的第一个方面，提供了一种质量评价方法，包括：基于多个激励中至少两个激励的已有评价数据，得到针对所述多个激励的初始的配对比较综合结果；基于配对比较综合结果，分别确定至少一个激励对的期望信息增益，其中激励对包括多个激励中两个不同的激励；基于期望信息增益，从多个激励对中选择用于进行本轮次配对比较的激励对。

可选地，基于多个激励中至少两个激励的已有评价数据得到针对多个激励初始的的配对比较综合结果的步骤包括：比较激励对中两个激励的已有评价数据的大小；基于所述比较结果，设定对应于激励对的配对比较综合结果，以表示在两个激励中选择具有较大评价数据的激励。

可选地，基于多个激励中至少两个激励的已有评价数据得到针对多个激励的配对比较结果的步骤可以包括：基于先前由多个观测者和/或多种评价模型和/或通过多种方式分别获得的多个激励的多组已有评价数据，进行数据转换得到针对多个激励的多个配对比较结果；以及融合多个配对比较结果，得到配对比较综合结果。