[发明专利]一种基于深度注意力融合网络的动作检测方法及装置

权利要求书

1.一种基于深度注意力融合网络的动作检测方法，其特征在于，包括以下步骤：

步骤S101：获取一个帧序列作为输入，将所述帧序列输入到基础层，提取初始特征；

步骤S102：将所述初始特征输入残差通道-空间注意力模块；所述残差通道-空间注意力模块包括通道维度上的注意力模块和空间维度上的注意力模块；所述初始特征经所述残差通道-空间注意力模块处理，计算调制特征，输出注意力机制调制后的特征；

步骤S103：对所述注意力机制调制后的特征进行分层融合和迭代融合，得到融合特征；

步骤S104：将所述融合特征的映射依次送入中心检测分支、位移检测分支、框检测分支处理，获得若干帧级检测窗口；

步骤S105：基于ACT时间链接算法将所述若干帧级检测窗口连接成时空动作管道；

所述初始特征经所述残差通道-空间注意力模块处理，计算调制特征，输出注意力机制调制后的特征，包括两种方式，方式一为：

输入的初始特征通过通道维度上的注意力模块和空间维度上的注意力模块，分别得到通道维度上的注意力掩模和空间维度上的注意力掩模，然后将这通道维度上的注意力掩模和空间维度上的注意力掩模合并，得到调制特征FE′_cs，

FE′_cs＝α*M_s(F)+β*M_c(F)

其中，FE′_cs表示调制特征，其本身是特征图，M_c是通道维度上的注意力模块，M_s是空间维度上的注意力模块，F是输入的初始特征，也是特征图，α和β是可以学习的权重参数；

方式二为：

所述通道维度上的注意力模块和空间维度上的注意力模块按顺序串联放置，初始特征先通过空间维度上的注意力模块，得到空间注意力增强的特征，再通过通道维度上的注意力模块，得到空间-通道注意力增强的特征，作为调制特征FE′_cs，

FE′_cs＝M_c(M_s(F))

其中，FE′_cs表示调制特征，其本身是特征图，F是输入的初始特征；

所述空间维度上的注意力模块，卷积层对输入信息的响应进行改进：

其中，i是空间位置，j是全局任意位置，x为卷积层的输入，x_i为位置i的输入信息，x_j为位置j的输入信息；s'(x_i)是输出信息，N是标准化因子，c(x_i,x_j)是i和j的关系，g(x_j)是计算位置j的输入响应。

2.如权利要求1所述的基于深度注意力融合网络的动作检测方法，其特征在于，所述初始特征经所述残差通道-空间注意力模块处理，输出注意力机制调制后的特征为：

F″_cs＝F+γ*FE′_cs

其中，F″_cs是残差通道-空间注意力模块的输出，即注意力机制调制后的特征，F是残差通道-空间注意力模块输入的初始特征，γ是能够学习的参数。

3.如权利要求1所述的基于深度注意力融合网络的动作检测方法，其特征在于，所述通道维度上的注意力模块利用最大池化和平均池化来压缩输入的特征的空间维度，输入的特征由生成的通道维度上的注意力掩模调制，

F′_c＝W_c⊙F＝σ(G_c(SGAP(F),SGMP(F)))⊙F

其中，σ是sigmoid激活函数，Gc是卷积操作，SGAP是平均池化，SGMP是最大池化，F是输入的特征图；⊙是通道间乘法，W_c为通道维度上的注意力掩膜。

4.一种基于深度注意力融合网络的动作检测系统，其特征在于，包括：

处理器，用于执行多条指令；

存储器，用于存储多条指令；

其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如权利要求1-3之任一项所述的基于深度注意力融合网络的动作检测方法。

5.一种计算机可读存储介质，其特征在于，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如权利要求1-3之任一项所述的基于深度注意力融合网络的动作检测方法。