[发明专利]一种基于Transformer的人体姿态估计方法及系统

权利要求书

1.一种基于Transformer的人体姿态估计方法，其特征在于：

包括

特征提取模块，所述特征提取模块用于对输入图像实现局部特征提取，得到初级特征图像；

特征交互模块，所述特征交互模块用于对输入图像实现全局特征交互，得到交互特征图像；

特征恢复模块，所述特征恢复模块用于对交互特征图像进行特征恢复，得到预测特征图像；

将预测特征图像作为预测热图，与真值ground_truth关节点的热图进行计算，得到训练的损失值loss，实现梯度回传，完成特征提取模块、特征交互模块和特征恢复模块的训练；

所述特征提取模块包括残差网络、压缩卷积Con-Red以及姿态注意力机制单元SA；

其中所述残差网络由多个残差Res组成，多个所述残差Res前后串联；

所述残差网络对输入图像特征的宽度W、高度H、通道C进行第一次采样，实现宽度W、高度H的第一次下采样，实现通道C的第一次上采样；

所述压缩卷积Con-Red由两个卷积组成，第一个卷积的卷积核大小为3×3，第二个卷积的卷积核大小为1×1，利用压缩卷积Con-Red接在所述残差网络之后，对第一次采样的图像特征进行第二次采样，实现宽度W、高度H的第二次下采样，实现通道C的第二次上采样；

所述姿态注意力机制单元SA 插入在所述残差网络内，对残差网络内的通道C进行关注；

所述姿态注意力机制单元SA包括转换层、softmax激活层、sigmoid激活层和多个1×1的卷积；

所述残差网络的每个残差Res包含多层卷积，每个残差Res内的第一层卷积C_1后均插入有所述姿态注意力机制单元SA；

姿态注意力机制单元SA获取到每个残差Res内第一个卷积C_1的输出C_r×H_r×W_r，利用两个1×1的卷积分别对输出的通道数C_r下降到为1和1/2C_r，保持特征的高度H_r和宽度W_r不变，得到两个并行处理的管道G_1和管道G_2，管道G_1和管道G_2输出特征分别为1×H_r×W_r和C_r/2×H_r×W_r；

利用转换层分别对两个并行处理的管道G_1和管道G_2进行维度转换，对其中管道G_1的特征维度保持三维，使其特征高度H_r和宽度W_r合成同一维度，得到特征维度为H_rW_r×1×1；对另外一管道G_2的特征维度由三维转换为二维，并将特征高度和宽度合成同一维度，通道数为1/2C_r，得到特征C_r/2×H_rW_r；

利用1×1的卷积对管道G_2的特征C_r/2×H_rW_r进行计算，利用softmax激活层对另一管道G_1的特征H_rW_r×1×1进行计算，将两者计算的值进行叉乘计算，并经sigmoid激活层输出，得到一个三维特征，该三维特征的通道数与残差网络内第一个卷积的输出的通道数C_r相同，特征的高度和宽度均为1,特征为C_r×1×1；

将所述姿态注意力机制单元SA的输出对每个残差Res内第一个卷积C_1的输出C_r×H_r×W_r进行通道C_r关注，实现对所述残差网络内的特征通道C_r进行关注；提高初级特征图像的特征通道的关注度。