[发明专利]基于不确定性分数分布学习的动作质量评价方法

说明书

本发明公开了一种基于不确定性分数分布学习的动作质量评价方法，包括：以分数标签为均值，生成高斯分布作为监督信号；将动作视频送入到3D神经网络中来预测分数标签；通过优化预测分数标签和监督信号之间的KL散度来优化网络；将测试视频输入优化后的预测视频分数模型中，选取概率值最大的分数作为最终预测分数。该方法可以更好的描述动作质量分数的概率，解决解决动作质量评价分数标签中的歧义性问题。

技术领域

本发明涉及计算机视觉及深度学习技术领域，特别涉及一种基于不确定性分数分布学习的动作质量评价方法。

背景技术

人体动作质量评价旨在评价一个人完成一样特定动作的质量好坏。由于它在体育视频处理，医疗看护等多方面的应用潜力，它成为了计算机视觉领域一个新兴并且引人关注的话题。相比于关注于分类的传统动作识别问题，动作行为评价更具有挑战，因为它需要处理类间距极小的视频。

在过去的一些年中，有一些面向动作质量评价的方法被提出。然而，相关技术中对于任何的动作，都只是将动作质量评价认为是一种简单的回归问题来预测视频的分数。由于需要处理的视频往往各不相同，现有动作质量评价问题的性能尚有较大的局限性。

上述做法性能受限的根本原因是因为忽略了动作分数标签中的歧义性，而这是动作质量评价的核心问题之一。该歧义性是由于实际情况下动作标签的生成方式造成的。如图1 所示，对于跳水运动，当运动员完成了难度系数为3.8的动作之后，7个评委给出了他们的分数{9.0,8.5,9.0,8.0,9.0,8.5,9.0}。当去掉两个最高分和两个最低分之后，最终的分数可以由如下的方式计算而得:

s_final＝(9.0+9.0+8.5)×3.8＝100.70

而该计算方式说明了最终分数由于由不同评分打分，而会存在的歧义性。更进一步，每个评委的主观评价同样也可能会给最终的分数带来不确定性。除了跳水运动，该现象在其他运动(比如体操、高山滑雪等)的评价中也广泛存在，使得鲁棒的动作质量评价变得尤为困难。因此，针对标签的歧义性来设计一个鲁棒的模型显得尤为重要。

另外，在现有的绝大多数的动作质量评价工作中，网络是基于单个分数的监督信息来设计和优化的。然而，在很多的体育比赛(例如跳水，花样滑冰等)中，最后的分数是基于多个评委的打分和特定的计算规则得到的。例如在最近公开MTL-AQA数据集中，每个评委的原始得分和动作的难度系数(DD)都可以得到。因此，亟待一种对多个评委的打分和特定计算规则的动作质量评价方法。

关于动作质量评价的任务，比较主流的数据集有AQA-7数据集、MTL-AQA数据集等。给定一系列的视频，常用的评价指标之一是Spearman等级相关性(范围从-1到1，越高越好)，其相关性定义为:

其中，p和q分别代表预测的动作得分序列和真实的动作得分序列。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的目的在于提出一种基于不确定性分数分布学习的动作质量评价方法，该方法提升了动作质量评价准确率的准确度，增强了动作质量评价模型的鲁棒性。