[发明专利]一种基于双重注意力模型的视频行为识别方法及系统

权利要求书

1.一种基于双重注意力模型的视频行为识别方法，其特征在于，包括如下步骤：

获取待识别视频的初始特征A输入到双重注意力模型，其中双重注意力模型包括：空间注意力模型和通道注意力模型；

基于空间注意力模型对初始特征A的处理，包括：将初始特征A经过卷积层后输出空间注意力矩阵，所述空间注意力矩阵和初始特征进行矩阵乘法得到矩阵相乘矩阵，将矩阵相乘矩阵和初始特征执行基于元素的加法操作，生成新特征M_S，包括：

将初始特征输入卷积层中，分别生成两个新的特征图B和C，其中将特征图B和特征图C变维为其中N＝H×W是像素数，H为像素高度，W为像素宽度，C为特征图的通道；

对特征图B的转置和特征图C执行矩阵乘法，得到转置矩阵；

基于转置矩阵利用Softmax激活函数计算空间注意力特征图

将初始特征输入卷积网络，生成新的特征图矩阵变维成在特征图D和特征图S的转置之间执行矩阵乘法，并将矩阵乘法的结果变维

将变维后的结果乘以预设尺度参数，并用初始特征A进行基于元素的加运算，得到新特征如以下公式：

其中，α为尺度参数，被初始化为0，在学习中α逐渐被分配更多的权重；

基于通道注意力模型对初始特征A的处理，包括：将初始特征A分别进行全局平均池化和全局最大池化，合并生成全局描述符；将全局描述符全局描述符经过级联的全连接层和激活函数处理，获取通道间的相关性；基于通道间的相关性获取初始特征A的各个通道的权重；将注意力权重与初始特征A进行融合，生成新特征M_C，包括：

将原始特征通过全局平均池化和最大池化获取通道描述通过以下公式计算：

其中，A_C为初始特征A的第c个通道，A_c(i,j)为第c个通道内位置为(i,j)的图像像素值，F_pool为全局池化，z_avg,z_max为两路不同池化方法输出的全局描述符；

将全局描述符经过全连接层后缩放变成其中r为缩放参数，得到经过缩放的全局描述来捕获初始特征A中通道间的相关性S，通过以下公式计算：

s＝F_ex(z,W)＝σ(g(z,W))＝σ(W₂δ(W₁z))

其中，为第一层全连接层的权值，δ表示ReLU激活函数，为第二层全连接层的权值，σ为Sigmod激活函数；

将相关性S与初始特征A通道矩阵相乘，得到通过通道注意力模型的特征表示M_C，通过以下公式表示：

M_C＝F_scale(A_c,s_c)＝s_c A_c

其中，F_scale(A_c,s_c)表示标量s_c与特征图之间的通道方向乘法；

将新特征M_S和新特征M_C进行加权融合到初始特征A中，获得新特征D；

基于所述新特征D对待识别视频分别进行单体行为和群体行为识别。

2.根据权利要求1所述的基于双重注意力模型的视频行为识别方法，其特征在于，获取待识别视频的初始特征A的过程，包括：

对待识别视频进行多级特征提取后，利用深度全卷积网络对ROI进行初检测；

利用马尔科夫随机场进行ROI的微调，获得最终ROI集合作为初始特征A。

3.根据权利要求2所述的基于双重注意力模型的视频行为识别方法，其特征在于，基于所述新特征D对于单人行为识别，将目标识别对象的ROI时间序列进行时序推理，通过接入两个全连接层和Softmax层得到单人行为的预测结果。

4.根据权利要求3所述的基于双重注意力模型的视频行为识别方法，其特征在于，基于所述新特征D对于群体行为识别，使用ROI匹配递归卷积网络进行群体行为的时序建模，生成群体行为的预测结果。