[发明专利]基于可分离三维残差注意网络的人体动作识别方法

权利要求书

1.一种基于可分离三维残差注意网络的人体动作识别方法，其特征在于，该方法具体包括以下步骤：

S1：构造可分离三维卷积，利用可分离三维卷积替换3D ResNet中的标准三维卷积，从而搭建Sep-3D ResNet；其中，Sep-3D ResNet是可分离三维残差网络；

S2：设计通道注意力模块以捕捉通道级重要性分布，设计空间注意力模块以自动权衡各空间位置的重要性，然后将两个注意力模块按顺序堆叠以构造双重注意力机制；

设计通道注意力模块，具体包括：采取全局平均池化操作对输入特征的空间维度进行聚合，生成通道描述子F_C∈R^1×1×C′，表达公式为：

其中，F_t∈R^{H′×W′×C′}表示t时刻的切片张量，t＝0,1,…,T′，T′、H′、W′、C′分别表示输入立方体经过一组或一系列可分离三维卷积后得到的中层特征映射立方体的时间维度、高度、宽度和通道数；

随后，利用类似于自注意力函数的门控机制得到各通道的重要性分布集合，即将通道描述子F_C送入带有一个隐藏层的多层感知机以激发非归一化的通道注意力映射；为限制模型的参数量，将隐藏激活层的维度设置为C′/r，r为缩减比；然后利用sigmoid激活函数进行归一化操作，得到最终的通道注意力映射；通道注意力求解过程表达式为：

M_C(F_t)＝EP_C(σ(MLP(F_C)))＝EP_C(σ(W₁(δ(W₀F_C))))

其中，σ(·)表示sigmoid激活函数，δ(·)表示relu激活函数，W₀、W₁代表多层感知机的权重，EP_C(·)表示将通道注意力值沿空间域扩展到原始维度，即令M_C(F_t)∈R^{C′×H′×W′}；

为了执行自动特征校准，需要将通道注意力映射到原始输入特征，则细化后的切片张量计算过程为：

其中，符号指元素级乘法运算；

设计空间注意力模块，具体包括：利用全局平均池化操作聚合F_t′的通道维度，以生成一个二维空间描述子F_S∈R^{H′×W′×1}，从而总结F_t′的全局通道信息，具体计算表达式为：

随后，利用二维卷积操作而非多层感知机来计算其空间注意力值分布，即：

M_S(F_t′)＝EP_S(σ(conv(F_S)))

其中，conv(·)表示二维卷积操作，EP_S(·)表示沿通道尺度上的维度变换操作；

在推断了原始切片张量F_t的通道注意映射和空间注意映射后，首先利用通道注意力模块实现特征校准，得到细化后的切片张量F_t′，然后在空间注意映射M_S(F_t′)和F_t′之间使用元素级乘法操作执行特征再校准，得到注意力加权后的切片张量F_t”，从而实现在区分信息密集型通道的同时识别空间显著区域，并抑制冗余背景信息；得到的最终细化张量F_t”的计算过程为：

S3：通过对不同时刻的中层卷积特征进行双重注意力加权，在时间维度上扩展双重注意力模块，然后将其嵌入到Sep-3D ResNet的可分离三维残差块中，搭建形成Sep-3D RAN模型；其中，Sep-3D RAN是可分离三维残差注意网络；

S4：利用多阶段训练策略对Sep-3D RAN模型进行联合端到端训练，具体包括：利用一个全连接层生成最终的一维预测向量I∈R^C，C指目标数据集的动作类别总数，然后选择softmax函数以计算输入视频所属类别的概率分布，即：

其中，表示第n个视频属于动作类别i的预测概率；

在优化阶段，利用交叉熵损失函数调节真实值与预测值之间的误差，损失函数表达式为：

其中，y_n,i表示给定输入视频相对应的真实标签值，N指训练过程中每一批次的样本数。