[发明专利]基于卷积神经网络的人体姿态估计方法

权利要求书

1.基于卷积神经网络的人体姿态估计方法，其特征在于，所述方法具体包括以下步骤：

步骤一、构建人体姿态估计网络；

所述人体姿态估计网络包括全局残差子网络和量化误差优化子网络；

所述全局残差子网络从输入端开始，所包括的各部分依次为：第一卷积层、第二卷积层、串联的16个全局残差块、上采样层和第三卷积层；

所述全局残差块由三个支路组成，全局残差块的输入特征分别输入三个支路中；

在第一个支路内，依次对输入特征进行1×1卷积、3×3卷积和1×1卷积后，获得第一个支路的输出；

在第二个支路内，不对输入特征进行处理，即直接将其作为第二个支路的输出；

在第三个支路内，依次对输入特征进行1×1卷积、全局卷积和1×1卷积后，获得第三个支路的输出；

采用对应像素相加的方式，对三个支路的输出进行融合，再对融合结果进行ReLU和BN操作得到全局残差块的输出；

步骤二、将输入图像输入到全局残差子网络进行全局卷积，得到初步的人体关键点热力图；

所述全局卷积的具体过程为：

步骤1、利用3×3的卷积核对输入图像进行卷积得到中间特征图，如公式(3)所示：

其中，表示卷积运算，表示输入图像，W×H为输入图像的分辨率，表示第i个卷积核，i∈{1,2,...,W×H}，表示第i个卷积核所对应的中间特征图，代表实数域；

步骤2、对中间特征图F_i进行全局平均池化操作，得到包含全局信息的特征点v_i：

其中，F_i(j,k)表示中间特征图F_i中第j行第k列的像素值，v_i表示中间特征图F_i对应的特征点；

步骤3、将所有特征点v_i进行重新排列得到输出特征图O：

O＝g(v_i),i∈{1,2,...,W×H} (5)

其中，g(·)表示重排函数，g(·)用于将特征点序列映射为一个与输入图像大小相同的输出特征图

步骤三、将步骤二中输出的人体关键点热力图输入到量化误差优化子网络，再通过量化误差优化子网络输出最终的人体关键点热力图；

步骤四、取步骤三输出的人体关键点热力图中的最大值位置坐标作为最终的关键点定位结果；

根据最终的关键点定位结果进行人体姿态估计。

2.根据权利要求1所述的基于卷积神经网络的人体姿态估计方法，其特征在于，所述全局残差块的三个支路中，除了最后一次的1×1卷积操作之外，在其余卷积操作后均进行了ReLU和BN处理。

3.根据权利要求2所述的基于卷积神经网络的人体姿态估计方法，其特征在于，所述量化误差优化子网络中包括第一反卷积层、第二反卷积层、第一全局残差块、第二全局残差块、第三全局残差块和1×1卷积层，量化误差优化子网络的具体工作过程为：

步骤(1)、将全局残差子网络输出的关键点热力图作为量化误差优化子网络的输入，关键点热力图首先经过第一反卷积层和第二反卷积层的反卷积操作，获得反卷积操作结果；

步骤(2)、将反卷积操作结果输入到量化误差优化子网络的第一全局残差块，第一全局残差块的输出再输入到量化误差优化子网络的第二全局残差块，第二全局残差块的输出再输入到量化误差优化子网络的第三全局残差块，再将第一全局残差块的输出与第三全局残差块的输出进行融合；

步骤(3)、对步骤(2)的融合结果进行1×1卷积处理，分别生成人体的每个关键点所对应的最终热力图。