[发明专利]一种基于图神经网络的目标辅助的动作识别方法

摘要

本发明公开了一种基于图神经网络的目标辅助的动作识别方法，包括：首先利用深度神经网络计算视频每一帧的深度特征，并且根据每一帧的深度特征来提取视频帧内每一个目标边界框对应目标的特征，这些目标之间具有交互关系或者在时间前后具有对应关系，利用这些目标的特征和它们之间的关系构建图模型；然后构建两个映射函数自动的计算任意两个节点之间的相似度，用此相似度来控制图模型上节点特征信息的迭代更新过程中的信息交互，对图模型上节点的特征进行迭代更新；最后利用更新之后的目标特征和原视频的特征进行动作分类来实现视频的动作识别，可提升动作识别的准确性。

主权项

1.一种基于图神经网络的目标辅助的动作识别方法，其特征在于，包括以下步骤：/n步骤1，对待动作识别的原视频进行降采样，采样获得的视频帧序列为V＝{v₁,v₂,…,v_i,…v_T}，其中v_i表示第i个视频帧，共采样出T帧；将视频帧序列输入给深度神经网络，获得每一帧的深度特征；/n步骤2，根据视频帧序列中每一帧的深度特征以及其对应的帧内目标的边界框信息，提取获得每一帧内所有目标边界框的特征；通过所有目标边界框的特征对图模型的节点进行初始化，获得初始化后的图模型；/n步骤3，构造两个映射函数，通过映射函数计算图模型中任意两个节点之间的相似性；/n步骤4，根据步骤3中构建的映射函数，通过图更新的过程迭代更新图模型的节点特征信息，直到节点特征达到收敛；/n步骤5，对更新之后的节点特征进行平均池化得到目标交互特征表示，对视频帧序列所有帧的深度特征进行平均池化得到全局视频特征表示；将池化得到的目标交互特征和全局视频特征拼接获得最终的视频特征表示，对最终的视频特征进行分类，完成动作识别。/n