[发明专利]一种基于自我注意力机制的行为识别方法

权利要求书

1.一种基于自我注意力机制的行为识别方法，其特征在于：包括以下步骤：

S01)、连续帧图像读取：

以关键帧为首帧图像，读取连续时间序列下的连续帧图像数据，并构建位置编码矩阵；

位置编码矩阵是一个维度为[H,W]的全1矩阵，其中H、W表示读取图像的高度和宽度；

S02)、基于2D卷积骨干网络进行图像特征提取：

将读取的连续帧图像数据的每一帧输入2D卷积骨干网络，获取每一帧的图像特征，并将每一帧的特征图片进行拼接，从而获取连续帧特征图，关键帧图像为连续帧图像数据中的第一帧，则关键帧的特征图取连续帧特征图的第一帧，即key_frame＝clip_frame[0]，key_frame表示关键帧特征图，clip_frame表示连续帧特征图；

S03)、位置编码：

将步骤S01的位置编码矩阵按列方向进行逐列累加，获得矩阵x_embed；

将步骤S01的位置编码矩阵按列方向进行逐列累加，获得矩阵y_embed；

对矩阵x_embed、y_embed进行优化，获得优化后的结果PE_{x_embed},PE_{y_embed}，将PE_{x_embed},PE_{y_embed}按第3维度进行拼接，并进行维度顺序变换，获得最终的位置编码矩阵；

由于关键帧数据与连续帧数据用在相同的图像处理过程，因此设定关键帧位置编码矩阵与连续帧位置编码矩阵相同，即key_mask＝clip_mask，key_mask表示关键帧位置编码矩阵，clip_mask表示连续帧位置编码矩阵；

S04)、关键帧图像目标位置预测：

S41)、使用单层2D卷积网络对关键帧特征图进行通道压缩，使用线性连接层对关键帧位置编码矩阵进行宽高压缩，通道压缩后的关键帧特征图与宽高压缩后的关键帧位置编码矩阵具有相同的维度；

S42)、将通道压缩后的关键帧特征图与宽高压缩后的关键帧位置编码矩阵输入关键帧图像目标预测模块，关键帧图像目标预测模块进行关键帧图像目标位置预测；

S05)、连续帧动作预测：

S51)、使用多层2D卷积网络对连续帧特征图进行通道压缩，使用线性连接层对连续帧位置编码矩阵进行宽高压缩，通道压缩后的连续帧特征图与宽高压缩后的连续帧位置编码矩阵具有相同的维度；

S52)、将通道压缩后的连续帧特征图与宽高压缩后的连续帧位置编码矩阵输入连续帧图像动作类别检测模块，连续帧图像动作类别检测模块进行连接帧动作类别预测；

步骤S04的关键帧图像目标预测模块与步骤S05的连续帧图像动作类别检测模块具有相同的结构，均包括编码模块和解码模块；

编码模块包括M个串联的编码单元，每个编码单元包括1个多角度注意机制模块和1个数据处理模块，第一个编码单元的输入为通道压缩后的关键帧/连续帧特征图、宽高压缩后的关键帧/连续帧位置编码矩阵，后续编码单元的输入为前一个编码单元的输出；

解码模块包括K个串联的解码单元和1个前置多角度注意机制模块，每个解码单元包括1个多角度注意机制模块和1个数据处理模块，前置多角度注意机制模块的输入为宽高压缩后的关键帧/连续帧位置编码矩阵、输出编码初始化值，第一个解码单元的输入为前置多角度注意机制模块的输出和编码模块的输出，后续解码单元的输入为前一个解码单元的输出；

上述多角度注意机制模块采用多个平行注意层共同关注来自不同位置的不同表示空间的信息，即对其输入进行多角度注意机制处理，然后通过数据处理模块对多角度注意机制处理后的数据进行残余连接和归一化处理；

最终解码器的输出即为预测的关键帧图像目标位置或连续帧图像动作类别。