[发明专利]基于交互建模的第一人称视角视频交互行为识别方法

权利要求书

1.基于交互建模的第一人称视角视频交互行为识别方法，其特征在于，包括下述步骤：

S1、将摄像头佩戴者和交互者显式分离，分别学习二者的行为特征，包括：

S1.1、通过注意力模块将交互者从背景中分离出来；

S1.2、分别提取和学习摄像头佩戴者和交互者的行为特征，所述行为特征包括静态外观特征和动态运动特征；所述静态外观特征为摄像头佩戴者看见的静态视觉内容的特征，即对应摄像头佩戴者的视频帧I_t的全局外观特征，以及对应交互者的视频帧I_t的局部外观特征；

S1.3、运动特征学习，对于摄像头佩戴者，其运动信息即为摄像头运动信息，该运动信息对视频帧变化的影响是全局性的；对于交互者，其运动信息对视频帧变换的影响是局部的，通过一个密集的运动矩阵D∈R^H x W来表示交互者的运动信息，并通过和注意力模块生成的掩码M_t⁽³⁾逐渐相乘，使运动矩阵D只作用于交互者而不作用于背景；

S1.4、对于每一对相邻的视频帧I_t-1，I_t，通过上述的注意力模块和运动矩阵分别得到摄像头佩戴者对应的全局静态外观特征f_t^g，a和运动特征f_t^g，m，以及交互者对应的局部静态外观特征f_t^1，a和运动特征f_t^1，m，摄像头佩戴者的行为特征定义为f_t^ego＝[f_t^g，a，f_t^g，m]，交互者的行为特征定义为f_t^exo＝[f_t^1，a，f_t^1，m]，这两个特征将用于摄像头佩戴者和交互者之间的交互关系建模；

S2、对偶交互关系建模；

S2.1、构建用于交互建模的长短时记忆模块；步骤S2.1中，构建用于交互建模的长短时记忆模块具体为：

摄像头佩戴者和交互者的个体行为特征分别输入对应的长短时记忆模块，这两个模块互为对偶模块，采用对称的更新方式：

[i_t；o_t；g_t；a_t]＝σ(Wf_t+UF_t-1+J_t-1+b)

c_t＝i_ta_t+g_tc_t-1

F_t＝o_ttanh(c_t)

其中i_t，o_t，g_t，a_t分别是长短时记忆模块的输入门限值，输出门限值，遗忘门限值和输入特征，σ是非线性函数sigmoid函数，Φ是线性整流函数，f_t是摄像头佩戴者或交互者的个体行为特征，ct是长短时记忆模块的中间特征，F_t则是对应的长短时记忆模块的输出特征，F_t^*是对偶模块的输出特征，V、b为长短时记忆模块的可学习参数；

S2.2、用于交互建模的长短时记忆模块通过把对偶模块在上一帧的输出作为当前帧的输入，显式建模了摄像头佩戴者和交互者的交互关系；步骤S2.2中，还包括下述步骤：

将两个长短时记忆模块在视频的最后一帧N时的输出逐点相加并通过非线性操作得到融合后的特征：

在R_N上添加一个线性分类器，并通过softmax函数可以得到对应于各个行为类别的概率：

p(y|R_N)＝softmax(WR_N+b)

使用交叉熵损失函数对分类结果进行优化：

其中y_k为类别k的标签，即如果行为类别编号为k，则y_k＝1，否则y_k＝0；K为总的类别数。