[发明专利]一种基于图神经网络的目标辅助的动作识别方法

说明书

本发明公开了一种基于图神经网络的目标辅助的动作识别方法，包括：首先利用深度神经网络计算视频每一帧的深度特征，并且根据每一帧的深度特征来提取视频帧内每一个目标边界框对应目标的特征，这些目标之间具有交互关系或者在时间前后具有对应关系，利用这些目标的特征和它们之间的关系构建图模型；然后构建两个映射函数自动的计算任意两个节点之间的相似度，用此相似度来控制图模型上节点特征信息的迭代更新过程中的信息交互，对图模型上节点的特征进行迭代更新；最后利用更新之后的目标特征和原视频的特征进行动作分类来实现视频的动作识别，可提升动作识别的准确性。

技术领域

本发明属于计算机视觉与模式识别技术领域，特别涉及一种基于图神经网络的目标辅助的动作识别方法。

背景技术

视频动作识别作为视频处理的关键步骤，对视频的分析和处理有很大影响，在理论和实际应用中具有重要的研究价值。目前现有的视频动作识别技术普遍存在以下几个问题：(1)大多数视频动作识别方法是基于深度神经网络提取视频的特征，然后对视频特征进行分类；现实中的动作都会有时间上的前后关联或者人物之间的交互，这种方法并没有考虑视频中目标之间和帧之间的关系，会导致分类鲁棒性较差。(2)通过对视频帧进行密集采样，利用帧之间时序相关性构造时间图来辅助动作定位；这种时间图模型仅仅利用了视频中目标之间的时间关系，没有利用目标和交互物体之间的关系。

人类的动作大多都和其他物体有交互，比如“看书”这个动作就和“书”有交互；利用目标与交互的物体之间的关系和目标前后时间之间的关系可以辅助动作识别，提高动作识别的准确率，但是目前还没有方法尝试利用这种关系。

综上，亟需一种新的基于图神经网络的目标辅助动作识别方法。

发明内容

本发明的目的在于提供一种基于图神经网络的目标辅助的动作识别方法，以解决上述存在的视频动作识别准确率较低的技术问题。本发明的方法，基于端对端的目标辅助的图模型，有效的利用了视频中目标前后帧之间的关系，以及目标与交互物体之间的关系，可提高视频动作识别的准确率。

为达到上述目的，本发明采用以下技术方案：

本发明的一种基于图神经网络的目标辅助的动作识别方法，包括以下步骤：

步骤1，对待动作识别的原视频进行降采样，采样获得的视频帧序列为V＝{v₁，v₂，...，v_i，...v_T}，其中v_i表示第i个视频帧，共采样出T帧；将视频帧序列输入给深度神经网络，获得每一帧的深度特征；

步骤2，根据视频帧序列中每一帧的深度特征以及其对应的帧内目标的边界框信息，提取获得每一帧内所有目标边界框的特征；通过所有目标边界框的特征对图模型的节点进行初始化，获得初始化后的图模型；

步骤3，构造两个映射函数，通过映射函数计算图模型中任意两个节点之间的相似性；

步骤4，根据步骤3中构建的映射函数，通过图更新的过程迭代更新图模型的节点特征信息，直到节点特征达到收敛；

步骤5，对更新之后的节点特征进行平均池化得到目标交互特征表示，对视频帧序列所有帧的深度特征进行平均池化得到全局视频特征表示；将池化得到的目标交互特征和全局视频特征拼接获得最终的视频特征表示，对最终的视频特征进行分类，完成动作识别。

本发明的进一步改进在于，步骤1中，将视频帧输入给深度神经网络，获得每一帧的深度特征的具体步骤包括：将每一帧的图像大小通过双线性插值调整为固定预设大小像素，然后将每一帧图像输入给一个深度神经网络得到每一帧的深度特征；

其中，深度神经网络的输出特征图大小为W×H，通道数位C。

本发明的进一步改进在于，步骤2具体包括：