[发明专利]一种基于深度学习的人体关键点检测方法

权利要求书

1.一种基于深度学习的人体关键点检测方法，其特征在于，包括如下步骤：

步骤1、获取训练数据，所述训练数据包括图片以及包含行人检测框和人体关键点坐标的标记文件；

步骤2、构建人体关键点检测网络，所述人体关键点检测网络为两级网络结构，第一级网络和第二级网络均采用扩张卷积残差网络；所述扩张卷积残差网络基于ResNet50网络，使用步长为1的扩张卷积代替ResNet50网络中最后一个残差模块的普通卷积，并将ResNet50网络中最后一个残差模块的特征图通道数减小为原来的二分之一后形成所述扩张卷积残差网络；

步骤3、利用步骤1得到的训练数据对步骤2构建的人体关键点检测网络进行多次训练得到多个训练模型，每一次训练的具体方法为：

3.1、使用第一级扩张卷积残差网络的后四个残差模块作为骨干模块对所述训练数据进行特征提取得到四个特征图，并使用金字塔结构对四个特征图进行特征融合然后预测，将预测结果中的所有关键点计算损失后返回调整网络参数；

3.2、利用中间级将第一级网络的输入特征图、第一级网络的输出特征图和第一级网络的预测结果统一为相同的特征图通道数后相加作为第二级网络的输入特征图；

3.3、使用第二级扩张卷积残差网络的后四个残差模块作为骨干模块对所述第二级网络的输入特征图进行特征提取，将第二级扩张卷积残差网络中最后一个残差模块提取的特征图经过两层转置卷积后进行预测，将预测结果中的所有关键点计算损失并根据计算结果对所有关键点的损失按从大到小进行排序，选择前K×B个关键点的损失返回调整网络参数，B为输入图片的批量数，K∈[0，J]，J为人体关键点数；

步骤4、选择步骤3得到的所有训练模型中的最优模型；

步骤5、将待检测图像输入最优模型中检测进行人体关键点预测，具体方法为：

5.1、预处理：使用行人检测器检测出待检测图像中的所有行人，以固定宽高比的形式裁剪出单独的行人；

5.2、模型预测：使用步骤4得到的最优模型对预处理后的数据进行预测，得到人体关键点的预测热力图；

5.3、后处理：将步骤5.2得到的预测热力图上的最大响应点向第二大响应点偏移1/4得到最终关键点的位置坐标，然后将坐标映射回原图得到最终的人体关键点坐标。

2.根据权利要求1所述的基于深度学习的人体关键点检测方法，其特征在于，所述步骤3中利用步骤1得到的训练数据对步骤2构建的人体关键点检测网络进行训练之前还包括将所述训练数据进行数据增强。

3.根据权利要求2所述的基于深度学习的人体关键点检测方法，其特征在于，所述数据增强的具体方法为：

a、将所述训练数据中的行人检测框的宽高放大1.3倍，使用固定长宽比为4︰3的方式裁剪训练数据的图片中的行人，裁剪后缩放为固定尺寸；

b、将步骤a得到的裁剪后的所有图片以0.5的概率随机水平翻转，按0.7至1.3之间的缩放比例随机缩放，在-40°～+40°之间的旋转角度范围内随机旋转。

4.根据权利要求1至3任一项所述的基于深度学习的人体关键点检测方法，其特征在于，所述步骤3.1和3.3使用公式(1)计算损失得到损失函数L_H：

其中H_j(p)为预测结果，表示关键点j在位置p处的概率，是真实值生成的热力图，关键点j是否可见用v_j表示，关键点j不可见时v_j＝0，关键点j可见时v_j＝1。