[发明专利]一种基于注意力机制的视频行为识别方法

摘要

本发明公开了一种基于注意力机制的视频行为识别方法，所述方法包括以下步骤：通过卷积神经网络从视频样本中提取所需的帧级特征表达；对视频张量进行空域全局平均处理，融合特征中的空域信息，以获取不同帧的通道级特征表达作为待优化特征，并将其聚合为视频级特征表达，加强注意力得分提取过程中的帧间信息交互；利用本发明提出的通道级时域注意力提取方法，为视频帧级表达中每一个通道都计算出描述其重要程度的分值，同时对视频中不同帧特征和帧级特征中不同通道进行重要程度的区分，突出不同通道上的关键信息；使用加权求和的方式，优化视频级特征表达。本方法通过对帧级特征表达中不同通道的重要程度进行细粒度区分，从而更充分地保留视频特征表达中的关键信息，以实现对视频特征表达的进一步优化。

主权项

1.一种基于注意力机制的视频行为识别方法，其特征在于，所述方法包括以下步骤：采样视频帧，通过卷积神经网络从视频样本中提取所需的帧级特征表达；对视频张量进行空域全局平均处理，融合特征中的空域信息，以获取不同帧的通道级特征表达，该通道级特征表达作为待优化特征；将该通道级特征表达聚合为视频级特征表达，该视频级特征表达将用于注意力得分的提取，加强帧间信息交互；利用通道级时域注意力提取，计算出与所提取的帧级特征表达相对应的通道级时域注意力得分，该分值能够比较不同帧对于识别视频内目标行为的重要程度，同时能对单一帧内的不同通道进行重要程度的区分，突出不同通道上的关键信息；将所获得的注意力得分作为权重系数，使用加权求和，将帧级特征表达融合为视频级特征表达，实现特征表达的优化。