[发明专利]一种基于图神经网络的目标辅助的动作识别方法

权利要求书

1.一种基于图神经网络的目标辅助的动作识别方法，其特征在于，包括以下步骤：

步骤1，对待动作识别的原视频进行降采样，采样获得的视频帧序列为V＝{v₁,v₂,…,v_i,…v_T}，其中v_i表示第i个视频帧，共采样出T帧；将视频帧序列输入给深度神经网络，获得每一帧的深度特征；

步骤2，根据视频帧序列中每一帧的深度特征以及其对应的帧内目标的边界框信息，提取获得每一帧内所有目标边界框的特征；通过所有目标边界框的特征对图模型的节点进行初始化，获得初始化后的图模型；

步骤3，构造两个映射函数，通过映射函数计算图模型中任意两个节点之间的相似性；

步骤4，根据步骤3中构建的映射函数，通过图更新的过程迭代更新图模型的节点特征信息，直到节点特征达到收敛；

步骤5，对更新之后的节点特征进行平均池化得到关系特征表示，对视频帧序列所有帧的深度特征进行平均池化得到全局视频特征表示；将池化得到的关系特征和全局视频特征拼接获得最终的视频特征表示，对最终的视频特征进行分类，完成动作识别；

其中，步骤1中，将视频帧输入给深度神经网络，获得每一帧的深度特征的具体步骤包括：将每一帧的图像大小通过双线性插值调整为固定预设大小像素，然后将每一帧图像输入给一个深度神经网络得到每一帧的深度特征；其中，深度神经网络的输出特征图大小为W×H，通道数为C；

步骤2具体包括：图模型的节点用V中所有视频帧内的边界框对应的特征来初始化，对于视频中的第t帧v_t，t∈{1,2,…,T}，有N_t个目标边界框，将每个边界框对应位置的特征在特征图中提取出来并调整为固定大小7×7×C；然后对每个特征通道的特征进行最大池化得到尺度为1×1×C的该物体的特征表示；对于v_t，得到的所有目标边界框的特征为：

其中，X_t为第t帧上所有目标边界框对应的特征，为第t帧上第N_t个边界框对应的特征，

视频帧序列V中所有帧的目标边界框的特征表示为：

其中，X表示整个视频所有帧的边界框的特征，

步骤3中，对于任意两个节点x_i,k和x_j,g，相似性分数计算过程如下：

其中，f(x_i,k,x_j,g)为节点x_i,k和x_j,g之间的相似度，i,j∈{1，2，…，T}，k∈{1,2,…,N_i}，g∈{1,2,…，N_g}，Θ、b_θ和Φ、分别为两个映射函数的参数，

获得关系矩阵表达式为：

然后对矩阵进行归一化，使得矩阵每一行数值的和为1，表达式为：

其中，f_norm为归一化后的相似性，i∈{1，2，…，T}，k∈{1，2，…,N_i}。

2.根据权利要求1所述的一种基于图神经网络的目标辅助的动作识别方法，其特征在于，步骤4中，通过图更新的过程迭代更新图模型的节点特征信息，直到节点特征达到收敛的过程中，

第s次迭代时的更新过程为：

X^s＝X^s-1+F_norm(X^s-1).X^s-1

其中，X^s是第s次迭代之后所有节点的特征，X⁰为步骤2中初始化的节点信息，s∈{1,2,…,S}，总的次数S可设置；最终的节点状态