[发明专利]基于分割注意力的特征融合人体行为识别系统及方法

权利要求书

1.基于分割注意力的特征融合人体行为识别方法，其特征是，包括：

获取视频样本；

基于视频样本进行逐帧分解采样；

将采样后的视频帧输入分割注意力网络中进行深度特征提取，输出特征向量；

将提取的特征向量输入到双向长短时记忆网络中建模时间信息，提取时间特征；

基于提取的时间特征，使用softmax分类器对其结果进行动作类别分类，其中得分最高的动作为识别结果，所述动作得分为该类动作的识别准确率。

2.根据权利要求1所述的基于分割注意力的特征融合人体行为识别方法，其特征是，基于视频样本进行逐帧分解采样，包括：

对视频帧数量小于30帧的视频样本，不采样；

对视频帧数量介于30至59帧的视频样本，逐帧采样；

对视频帧数量介于60至90帧的视频样本，每两帧采样一帧；

对视频帧数量大于90帧的视频样本，每三帧采样一帧。

3.根据权利要求2所述的基于分割注意力的特征融合人体行为识别方法，其特征是，将采样后的视频帧输入到分割注意力网络中进行深度特征提取，包括：

将采样后的视频帧分成多个基数组，再将每个基数组分成多个分割，在每个分割中对输入视频帧进行卷积操作，得到多个特征图组；

通过使用全局上下文信息计算不同特征图组在通道维度的权重；

基于通道特征向量的权重计算每一个基数组中的通道特征向量；

对每一个特征向量沿通道维度进行连接，得到分割注意力模块的输出特征向量。

4.根据权利要求3所述的基于分割注意力的特征融合人体行为识别方法，其特征是，特征图组为：

U_i＝F_i(X)，i∈{1,2,...G}

式中，F_i是对每个独立特征图组使用的1×1卷积和3×3卷积，i表示不同的特征图组，X表示采样后的视频帧，U_i是经过卷积之后输出的特征图组。

5.根据权利要求4所述的基于分割注意力的特征融合人体行为识别方法，其特征是，全局上下文信息为：

式中，为第c通道的全局上下文信息，k表示所在基数组，H，W为第c个通道特征向量的输出大小，表示第c个通道的特征向量卷积后的结果，其中i，j分别表示特征向量中的宽度坐标和高度坐标。

6.根据权利要求5所述的基于分割注意力的特征融合人体行为识别方法，其特征是，通道维度的权重为：

式中，表示第c个通道特征向量的权重，权重函数是根据全局上下文信息确定的每个特征图组中第c个通道所占的权重，m，n表示当前所在特征图组。

7.根据权利要求6所述的基于分割注意力的特征融合人体行为识别方法，其特征是，通道特征向量为：

式中，为第k个基数组中第c个通道特征向量，表示第c个通道特征向量的权重，U_r(k-1)+i表示第k个基数组中第i个原特征向量，通过对原特征向量加权累加可得第c个通道的特征向量表示。

8.根据权利要求7所述的基于分割注意力的特征融合人体行为识别方法，其特征是，分割注意力模块的输出特征向量为：

V＝Concat{V¹,V²,...V^k}

式中，Concat表示沿通道维度的拼接操作，V^k表示第k个基数组的特征向量，将原始输入视频帧x与分割注意力模块的输出V进行短接，从而生成分割注意力模块的最终输出：

Y＝V+T(x)

式中，T表示带步长的卷积操作，用于对齐分割注意力块的输出形状，x表示原始输入。