[发明专利]一种人体图像关键点姿态估计方法

权利要求书

1.一种人体图像关键点姿态估计方法，其特征在于，

包括以下步骤：

步骤S1.将图像数据库中的图像数据预处理：

首先，将原始图像送入已经训练好的基于空洞卷积的特征金字塔网络DetectionNet检测，只输出人体用边界框标记的人体图像；然后将输出的人体图像裁剪，形成预定格式大小，然后进行自动数据增强处理；

步骤S2.通过训练得到能够对人体图像进行姿态估计以得到人体固件关键点图像的深度神经网络模型：

利用步骤S1中已裁剪完的人体图像作为网络的输入，以训练集中的用xy轴坐标形式标出的json文件作为人体关键点标注信息像作为GroundTruth，训练深度神经网络模型中的全局网络和矫正网络，获得训练好的完成从人体图像到人体关键点图像的姿态估计的深度神经网络模型；

其中，通过全局网络的ResNet101网络对输入的人体图像处理，得到不同尺寸的特征图输出，采用自底向上的U-Shape结构，将每一层特征图进行自底向上做采样后进行加和后，进行预测操作，其中，用与GroudTruth进行L₂损失函数计算以进行损失约束；通过预测操作进行预定卷积步骤处理后，生成不同关键点的热力图，从而得到初始人体关键点；

将全局网络中每一层加和的特征图，通过Bottleneck后，通过设计的注意力机制模块，然后分别进行上采样，然后进行concat操作后通过Bottleneck，并采用基于难检测关键点的L₂^*损失约束，随后通过卷积进行热力图生成，修正初始的人体关键点，得到最终的人体关键点；模型迭代多次达到稳定后，完成模型的训练；

步骤S3.使用训练好的深度神经网络模型，对测试数据集中的包含人体的图像进行姿态估计处理。

2.根据权利要求1所述的人体图像关键点姿态估计方法，其特征在于，所述特征金字塔网络FPN采用特定数据增强的方法处理图片，并且对FPN的后两个stage进行修改以特定针对于目标检测，并将检测后的人体图像进行裁剪后进行输入，具体为：

采用Resnet50为骨干网络进行特征提取，使用标准高斯分布随机初始化ResNet50网络；

根据Resnet50提取的特征，保留stage 1～4，4个尺度的特征图，并且命名为P₂，P₃，P₄，P₅，，并且通过连接卷积核大小为1*1的卷积核，增加stage5，特征图为P₆的特征图；

并且在stage4以后我们保持特征图的空间分辨率不变，也就是其中代表空间分辨率，i为原始图尺寸，x∈[i，2，3，4，5，6]，在P₄，P₅，P₆，之间通过连接卷积核大小为1*1的卷积核，以保持通道数一致(通道数＝256)；

最后将stage4～6的特征图按照金字塔架构进行加和，形成FPN特征金字塔，并且采用Fast RCNN的方法进行目标检测，并通过回归损失和分类损失进行约束，多损失融合，分类损失采用log loss，回归的loss和R-CNN一样；

总的损失函数：

在检测网络最后的全连接层，接入了两个分支，一个是softmax用于对每个ROI区域做分类，假如有K类待分，加上背景总共K+1类，输出结果为p＝(p0.........pk)，另外一个是bounding box，用于更精确的ROI的区域，输出为代表k类的boundingbox坐标，(x，y)为bounding box左上角坐标，(x+w，y+h)为bounding box右下角坐标；u为每个POI区域的Ground Truth，v为bounding box的Ground Truth的回归目标，其中λ为超参数，控制两个任务损失之间的平衡，这里λ＝1，[u≥1]为1当u≥1；

分类损失具体为：为一个log形式的损失函数，

回归损失具体为：

其中v＝v_x，v_y，v_w，v_h是类别为u的真实框的位置，而为类为u的预测框位置，并且