[发明专利]一种基于深度学习的人体关键点检测方法

摘要

一种基于深度学习的人体关键点检测方法，包括数据获取、网络构建、模型训练和评估、最优模型预测等步骤。本发明通过对ResNet50网络进行改进提出了扩张卷积残差网络，采用两级扩张卷积残差网络构建了人体关键点检测网络。模型训练时第一级网络对训练数据进行特征提取并使用四个通道进行预测，将预测结果中所有关键点计算损失后返回调整网络参数；采用中间级将第一级网络的输入特征图、输出特征图和预测结果相加后传送至第二级，由第二级网络进行特征提取并经过两层转置后对最后得到的特征图进行预测，计算预测结果的关键点损失并按从大到小排序，选择前K×B个损失返回调整网络参数。选择最优的训练模型对将待检测图像进行人体关键点预测，精度高实用性好。

主权项

1.一种基于深度学习的人体关键点检测方法，其特征在于，包括如下步骤：步骤1、获取训练数据，所述训练数据包括图片以及包含行人检测框和人体关键点坐标的标记文件；步骤2、构建人体关键点检测网络，所述人体关键点检测网络为两级网络结构，第一级网络和第二级网络均采用扩张卷积残差网络；所述扩张卷积残差网络基于ResNet50网络，使用步长为1的扩张卷积代替ResNet50网络中最后一个残差模块的普通卷积，并将ResNet50网络中最后一个残差模块的特征图通道数减小为原来的二分之一后形成所述扩张卷积残差网络；步骤3、利用步骤1得到的训练数据对步骤2构建的人体关键点检测网络进行多次训练得到多个训练模型，每一次训练的具体方法为：3.1、使用第一级扩张卷积残差网络的后四个残差模块作为骨干模块对所述训练数据进行特征提取得到四个特征图，并使用金字塔结构对四个特征图进行特征融合然后预测，将预测结果中的所有关键点计算损失后返回调整网络参数；3.2、利用中间级将第一级网络的输入特征图、第一级网络的输出特征图和第一级网络的预测结果统一为相同的特征图通道数后相加作为第二级网络的输入特征图；3.3、使用第二级扩张卷积残差网络的后四个残差模块作为骨干模块对所述第二级网络的输入特征图进行特征提取，将第二级扩张卷积残差网络中最后一个残差模块提取的特征图经过两层转置卷积后进行预测，将预测结果中的所有关键点计算损失并根据计算结果对所有关键点的损失按从大到小进行排序，选择前K×B个关键点的损失返回调整网络参数，B为输入图片的批量数，K∈[0，J]，J为人体关键点数；步骤4、选择步骤3得到的所有训练模型中的最优模型；步骤5、将待检测图像输入最优模型中检测进行人体关键点预测，具体方法为：5.1、预处理：使用行人检测器检测出待检测图像中的所有行人，以固定宽高比的形式裁剪出单独的行人；5.2、模型预测：使用步骤4得到的最优模型对预处理后的数据进行预测，得到人体关键点的预测热力图；5.3、后处理：将步骤5.2得到的预测热力图上的最大响应点向第二大响应点偏移1/4得到最终关键点的位置坐标，然后将坐标映射回原图得到最终的人体关键点坐标。