[发明专利]一种用于识别视频中人物动作的方法

权利要求书

1.一种用于识别视频中人物动作的方法，其特征是：包括如下(1)-(3)步骤：

(1)局部梯度空间特征学习：使用一种空间卷积网络和时间卷积网络分别提取短视频中每一帧的空间特征和时间特征，然后对空间特征进行初步学习；具体步骤如下[1]-[4]：

[1]使用空间卷积spatial提取特征，经过sigmoid函数后将特征分成两组空间特征b₁,b₂，然后用时间卷积temporal提取时间特征T：

b₁＝b₂＝sigmoid(spatial(x))，即在空间维度提取特征并分为b1,b2；

T＝temporal(x)，在时间维度提取特征T；

两组空间特征同时经过最大池化操作F_max，其中1组通过全连接运算fc对空间特征进行学习：

b₁¹＝fc(F_max(b₁))使用最大池化和全连接运算处理空间特征；

[2]将空间特征b₁¹与原始空间特征x同时作为损失函数的输入，即用于多分类的交叉熵损失函数，定义空间特征损失函数符号Loss_spatial，使用权重矩阵为W的神经网络函数ψ对特征b₁¹进行预测：

Loss_spatial＝loss_Cross(ψ(W,b₁¹),x)

[3]从空间特征损失函数Loss_spatial的梯度▽W^new中学习权值W^new，权值W^new与空间特征b₁¹同时作为偏差为bias的线性层linear的输入，学习率为μ，进而得到这个分支的空间特征b₁^final：

▽W_j^new＝▽W_j^old-μ▽_WLoss_spatial

W_j^new＝W_j^old+▽W_j^new

b₁^final＝linear(W₁^new*b₁¹+bias)

此时另1组空间特征经过最大池化F_max的空间特征b₂，通过全连接运算fc进行学习，得到这组空间特征b₂^final：

b₂^final＝fc(F_max(b₂))

[4]由上下2组生成的特征向量做逐元素加法的运算，生成的结果作为卷积核为3的空间卷积的输入，增加空间特征的感受野以此来学习更大范围的局部信息，经过空间卷积后，分成2组同时使用非线性操作relu：

x₁＝x₂＝relu(spatial(feature))

(2)细粒度空间特征学习：利用运算模块对空间特征进行细粒度学习，对步骤(1)生成的空间特征通过高斯函数进行学习，然后使用注意力机制选择空间特征中权重较大的特征向量生成注意力分数，最后用逐元素乘法生成的结果作为注意力特征向量；具体步骤如下[1]-[3]：

[1]由步骤(1)生成的两个分支的特征向量x₁,x₂作为输入，首先用两个高斯函数g,h进行空间特征学习，同时为了防止高斯函数过饱和，即在接近0的位置，导数变化大，远离0的位置，函数值趋近于0或1，导数几乎不变；所以在这个范围内变量变化无法引起导数的有效改变，设置避免饱和，d＝max(1,c/b)，c为输入特征向量的通道数，b为batch-size的大小；

[2]定义函数Mat做矩阵乘法操作：

对于注意力，使用softmax进行归一化得到的结果作为注意力分数score：

score＝softmax(φ(g(x₁),h(x₂)))

[3]生成的注意力分数score经过神经网络函数f，以此生成注意力特征向量featurevec：

featurevec＝f(∑score·x)

(3)块内注意力网络：利用局部功能注意力模块，以步骤(2)生成的结果作为空间特征向量，并与步骤(1)的时间特征作为输入，利用注意力模块继续选择空间特征中权重较大的特征向量，与时间特征做逐元素乘法，得到注意力特征向量；具体步骤如下[1]-[4]：

[1]将步骤(2)最后生成的注意力特征向量作为输入值，首先输入特征向量x’的通道数用c’表示，x’被分为两组，每组的通道数c’经过f_scale操作分为c’/2：

b₁＝b₂＝f_scale(x')

[2]每组特征向量经过最大池化F_max选取特征图感受野每个区域的最大值，然后经过全连接运算fc进行空间特征的学习，最后经过f_scale操作将其通道数恢复至开始时的特征向量：

b₁^final＝b₂^final＝f_scale(fc(F_max(b₁)))

由f_scale操作生成的特征向量b₁^final,b₂^final和步骤(1)的时间特征T作为注意力网络的输入；首先由特征向量b₁^final,b₂^final做矩阵乘法，由于softmax为会饱和的激活函数，为了避免进入饱和区域，用除以b为batch-size，然后进行softmax归一化操作得到的结果作为注意力分数；

[3]注意力分数与时间特征T做逐元素乘法，得到的结果作为注意力特征向量:

[4]最后，把上述结果通过全局平均池化和全连接层，然后进行动作分类。