[发明专利]一种基于互信息相似度的零样本动作识别方法及系统

说明书

本发明涉及计算机视觉技术领域，为一种基于互信息相似度的零样本动作识别方法及系统，S1，在零样本的动作分类任务中使用视频特征提取模块进行骨架动作特征提取；S2，利用语义特征提取模块对动作标签的语义信息进行特征化处理；S3，构建出语义特征和视频特征之间的非线性映射，同时设计出随帧数递增而互信息递增的互信息判别网络，以增强互信息对两类特征的判别能力。通过最大化视觉特征和语义特征之间的互信息来捕捉两者分布之间的非线性统计相关性，进而提高对不可见类的泛化效果；保证了互信息在时序上的递增单调约束，从而使得时序信息融合进了互信息的判别网络之中，提升了网络的判别效果；具有更好的性能。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于互信息相似度的零样本动作识别方法及系统。

背景技术

随着深度学习在骨架动作识别上面的应用越来越广泛，大规模的骨架动作识别的标注问题凸显出来。现实中难以构建出包含所有动作类的数据集用于训练，基于这种情况，零样本的学习方法被用于学习训练中并不涉及到的不可见类。利用一些语义上的信息，例如动作名称、属性和描述作为可见类和不可见类联系的桥梁。与图像数据相比，视频数据集的采集和标注尤为困难，因此，在骨架动作视频数据集上进行零样本动作识别是很有意义的现实问题。

深度学习系统在动作识别领域面对给定的训练集和标签类已经取得了非常好的效果，但是对于测试集中的不可见类却无能为力。为了缓解这个问题，研究人员提出了零样本的动作识别方法。在零样本的视频分类领域，通用方法是先利用预训练好的网络从视频帧中提取视觉特征。

现阶段大多数的零样本动作识别方法是从零样本的图像识别方法上扩展而来。在训练阶段，它们通过在训练集的可见类上训练神经网络，构造投影函数来建立视觉特征和语义特征之间的联系。在测试阶段，测试集动作序列的视觉特征与所有不可见类的语义向量之间的相似性要么在投影的公共空间中计算，要么通过学习到的度量方法计算。然而，由于序列数据本身的复杂性，这些自适应方法面临以下两个问题。

首先，在提取视觉特征时，视频领域一般采取3D卷积网络对RGB视频数据进行提取操作，而骨架数据一般使用图卷积的方式进行。这些特征提取器提取的特征会进一步的保留时序信息，在处理特征时，时序信息很大程度上会被平均池化或者最大池化而消失。作为一个序列数据，这种池化操作仅保留了全局的统计信息，对于局部的时序信息上的损失是无法接受的。在零样本领域，这种时序信息上的遗漏将会带来更加严重的后果，因为语义向量上的判别更加需要时序上的动态信息，就如不同的动作可能只在局部部分有所不同，，如何获取时序上的判别信息是零样本骨架动作识别领域的一个重要的技术问题。

其次，在可见类上构建投影或者学习距离度量来捕捉视觉特征和语义特征之间的相关性将很难泛化到具有不同分布的不可见类上。一个可能的原因是，这种方法试图在有限的可见类的投影或度量给定数据下，从一个空间重构到另一个空间，而两类特征空间之间的分布鸿沟将无法简单跨越。实际上，相对于映射的视觉特征与其对应的语义向量之间的绝对距离，更感兴趣的是语义向量对同一类和不同类的视觉特征的相对关系。

发明内容

本发明提供了一种基于互信息相似度的零样本动作识别方法及系统，解决了以上所述的骨架动作识别提取难度大的技术问题。

本发明为解决上述技术问题提供了一种基于互信息相似度的零样本动作识别方法，包括以下步骤：

S1，在零样本的动作分类任务中使用视频特征提取模块进行骨架动作特征提取；

S2，利用语义特征提取模块对动作标签的语义信息进行特征化处理；

S3，构建出语义特征和视频特征之间的非线性映射，同时设计出随帧数递增而互信息递增的互信息判别网络，以增强互信息对两类特征的判别能力。