[发明专利]基于群敏感对比回归的视频动作质量评价方法及系统

说明书

本发明公开了一种基于群敏感对比回归的视频动作质量评价方法及系统，其中，该方法包括：根据当前视频选择对应的示例视频和示例视频得分；利用深度学习模型分别对当前视频和示例视频进行时空特征提取，并构造合并特征；构建群敏感回归树网络，对合并特征进行回归，得到最终差异分数，并将最终差异分数与示例视频得分结合，得到当前视频分数。该方法通过建模目标动作与示例动作的差距，从而得到最后的目标动作得分，提高了模型的动作质量评价准确度。

技术领域

本发明涉及计算机视觉及深度学习技术领域，特别涉及一种基于群敏感对比回归的视频动作质量评价方法及系统。

背景技术

视频动作质量评价(Action Qaulity Assessment,AQA)旨在评估特定动作的执行情况，近年来受到越来越多的关注，因为它在许多现实世界的应用中(包括体育和医疗保健)都起着至关重要的作用。与动作检测与识别等常规动作分析任务不同，AQA更具挑战性，因为它需要从包含相同类别动作的视频中预测细粒度得分。考虑到不同视频本身的差异与其动作得分之间的差异，我们认为解决此问题的关键是发现视频之间的差异并根据差异预测得分。

近年来，大多数基于回归算法进行，其中分数是从单个视频直接预测的。尽管取得了一些可喜的成果，但AQA仍然面临两个挑战：首先，由于分数标签通常由人类法官注释(如，潜水比赛的分数是通过汇总来自不同法官的分数来计算的)，因此对法官的主观评估很难进行准确的分数预测；其次，用于AQA任务的视频之间的差异非常小，因为演员通常在相似的环境中执行相同的动作。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于群敏感对比回归的视频动作质量评价方法，该方法提高了模型的动作质量评价准确度。

本发明的另一个目的在于提出一种基于群敏感对比回归的视频动作质量评价系统。

为达到上述目的，本发明一方面实施例提出了基于群敏感对比回归的视频动作质量评价方法，包括以下步骤：步骤S1，根据当前视频选择对应的示例视频和示例视频得分；步骤S2，利用深度学习模型分别对所述当前视频和所述示例视频进行时空特征提取，并构造合并特征；步骤S3，构建群敏感回归树网络，对所述合并特征进行回归，得到最终差异分数，并将所述最终差异分数与所述示例视频得分结合，得到当前视频分数。

本发明实施例的基于群敏感对比回归的视频动作质量评价方法，提出对比回归的学习方法，将动作质量评价问题建模成回归当前视频与示例视频分数差异的回归问题，提高了模型的动作质量评价准确度；同时构建了一种群敏感的回归树结构，将传统的分数回归转换为两个更简单的子问题：从粗到精细分类和小区间回归，提高了回归器的可解释性与评价能力。

另外，根据本发明上述实施例的基于群敏感对比回归的视频动作质量评价方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述步骤S2包括：将所述当前视频和所述示例视频分别经过所述深度学习模型进行时空信息编码，并在特征维度对所述当前视频和所述示例视频进行拼接，并加入所述示例视频得分，一同构成所述合并特征。

进一步地，在本发明的一个实施例中，所述群敏感回归树网络中每个叶子节点代表一个预设差异分数区间，且每个区间内的样本均衡。

进一步地，在本发明的一个实施例中，所述群敏感回归树网络中对每个叶子节点进行群敏感分析，得到分类概率与组内相对位置。

为达到上述目的，本发明另一方面实施例提出了基于群敏感对比回归的视频动作质量评价系统，包括：选择模块，用于根据当前视频选择对应的示例视频和示例视频得分；提取模块，用于利用深度学习模型分别对所述当前视频和所述示例视频进行时空特征提取，并构造合并特征；回归与分数结合模块，构建群敏感回归树网络，对所述合并特征进行回归，得到最终差异分数，并将所述最终差异分数与所述示例视频得分结合，得到当前视频分数。