[发明专利]视频动作识别方法、装置和机器设备

说明书

本发明揭示了一种视频动作识别方法、装置和机器设备。所述方法包括：获取进行动作识别的视频数据；对视频数据在神经网络中进行网络各层的特征抽取中，经由神经网络的网络结构使得视频图像上抽取的空域特征进入双线性层；相邻帧视频图像之间根据空域特征进行双线性层上的双线性相关性运算，获得视频数据中每帧视频图像的时空域特征；通过时空域特征进行视频中动作的分类，获得视频数据的动作识别结果。对于神经网络中网络各层的特征抽取，在双线性层上双线性相关性运算中参数和计算复杂度得到控制，进而在控制复杂度的情况下抽取了时空域特征由此，实现了时域关系上的显式建模，有效提升动作识别的性能。

技术领域

本发明涉及计算机视觉应用技术领域，特别涉及一种视频动作识别方法、装置和机器设备。

背景技术

基于视频的动作识别，一直是计算机视觉研究的重要领域。视频动作识别的实现主要包括特征抽取与表示，以及特征分类两大部分。例如，经典的密度轨迹追跟踪的方法，在光流场的轨迹点附近抽取不同的特征，包括光流直方图和梯度直方图等，并用Fisher编码的方式得到最后的视频特征表示，之后支持向量机、随机森林等分类器在训练集上进行学习得到最终的分类器，以来进行特征分类。此为手动设计特征的方法，而近些年来随着深度学习所具备的强大特征表示能力，神经网络逐渐成为动作识别领域的主流方法，相对于手动设计特征的方法，大大提升了动作识别的性能。

基于深度学习的动作识别方法，其核心在于如何更好地进行时域的建模。一种深度学习的方法是进行所抽取空域和时域特征的融合，另一方法则是基于三维卷积神经网络。

但是，对于所抽取空域和时域特征的融合而言，缺乏对时域信息的显式建模，这将导致视频所包含的时序运动信息无法得到充分利用，所能够获得的视频动作分类性能受限。

而基于三维卷积神经网络进行的动作识别，也无法显式地对视频帧之间时域的关系进行建模，三维卷积相比于二维卷积网络也大大增加参数和计算的复杂度，分类性能受限的同时，参数和计算的高复杂度也无法得到控制。

综上所述的，亟待为视频动作的识别，实现对时域信息的显式建模，并且有效控制参数和计算的复杂度，以提升动作识别的性能。

发明内容

为了解决相关技术中无法对时域信息显式地建模，且参数和计算复杂度高，无法控制参数和计算复杂度的技术问题，本发明提供一种视频动作识别方法、装置和机器设备。

一种视频动作识别方法，所述方法包括：

获取进行动作识别的视频数据，所述视频数据包括若干帧视频图像；

对所述视频数据在神经网络中进行网络各层的特征抽取中，经由所述神经网络的网络结构使得视频图像上抽取的空域特征进入双线性层；

相邻帧视频图像之间根据所述空域特征进行所述双线性层上的双线性相关性运算，获得所述视频数据中每帧视频图像的时空域特征；

通过所述时空域特征进行视频中动作的分类，获得所述视频数据的动作识别结果。

一种视频动作识别装置，所述装置包括：

获取模块，用于获取进行动作识别的视频数据，所述视频数据包括若干帧视频图像；

各层特征抽取模块，用于对所述视频数据在神经网络中进行网络各层的特征抽取中，经由所述神经网络的网络结构使得视频图像上抽取的空域特征进入双线性层；

时空域特征抽取模块，用于相邻帧视频图像之间根据所述空域特征进行所述双线性层上的双线性相关性运算，获得所述视频数据中每帧视频图像的时空域特征；

分类模块，用于通过所述时空域特征进行视频中动作的分类，获得所述视频数据的动作识别结果。

一种机器设备，包括：

处理器；以及