[发明专利]一种基于上下文信息与联合嵌入的人体关键点检测方法

权利要求书

1.一种基于上下文信息与联合嵌入的人体关键点检测方法，其特征在于，包含以下步骤：

S1：获取训练数据集，训练数据集包含训练数据和验证数据，标注训练数据中训练图片上的人体关键点坐标位置信息；

S2：依据自上而下检测策略搭建人体关键点检测模型；

S3：根据人体关键点检测模型构建人体关键点真实标签热图和联合嵌入值标签热图；

S4：使用步骤S1获取的已标注人体关键点坐标位置信息的训练数据对步骤S2搭建的人体关键点检测模型进行训练，得到训练后的人体关键点检测模型；

S5：使用训练数据集中的验证数据对步骤S4得到的训练后的人体关键点检测模型进行评估，选取最优模型；

S6：重复执行步骤S4至S5，直至全部训练数据被训练完成，得到最优模型；

S7：利用步骤S6得到的最优模型进行人体关键点预测。

2.根据权利要求1所述的一种基于上下文信息与联合嵌入的人体关键点检测方法，其特征在于，所述人体关键点检测模型包含高分辨率网络模块、特征金字塔模块及上下文信息融合模块，其中：

高分辨率网络模块与特征金字塔模块相连，高分辨率网络模块对接收的图像进行四个阶段的特征提取，将提取的特征图发送至特征金字塔模块；

特征金字塔模块与上下文信息融合模块相连，将接收的由高分辨率网络模块输出的特征图进行融合处理，将融合处理后的特征图输入至上下文信息融合模块；

上下文信息融合模块接收特征金字塔模块发送的融合处理后的特征图，通过上下文信息融合模块的融合处理后输出人体关键点值热图及联合嵌入值热图。

3.根据权利要求2所述的一种基于上下文信息与联合嵌入的人体关键点检测方法，其特征在于，所述步骤S3包含以下具体步骤：

S31：按预设的人体关键点个数K，生成K张人体关键点真实标签热图，并对K张人体关键点真实标签热图进行数据增强，该预设的人体关键点个数K为训练数据中训练图片上定义的人体关键点个数；

S32：将训练图片上的人体关键点坐标位置信息转换为人体关键点真实标签热图上的人体关键点峰值，分别在K张人体关键点真实标签热图中进行标记，使得每张人体关键点真实标签热图包含对应的人体关键点位置坐标信息；

S33：给定一个半径r，对K张人体关键点真实标签热图中的所有人体关键点生成非规范二维高斯分布其中，e为自然对数的底数，x为人体关键点真实标签热图中人体关键点的x轴坐标值，y为人体关键点真实标签热图中人体关键点的y轴坐标值，σ为半径r的1/3；

S34：根据K张人体关键点真实标签热图生成与之对应的K张联合嵌入值标签热图，K张联合嵌入值标签热图中的联合嵌入值为对应K张人体关键点真实标签热图中人体关键点像素值。

4.根据权利要求3所述的一种基于上下文信息与联合嵌入的人体关键点检测方法，其特征在于，所述步骤S4包含以下具体步骤：

S41：将训练数据中的训练图片输入到步骤S2搭建的人体关键点检测模型；

S42：高分辨率网络模块作为模型主干网络对输入的训练图片进行特征提取，输出四张不同尺度的特征图；

S43：特征金字塔模块对四张不同尺度的特征图进行上采样融合，输出融合后的多尺度特征图；

S44：上下文信息融合模块接收上述融合后的多尺度特征图，并将该多尺度特征图进行融合处理，得到融合后的人体关键点预测热图和联合嵌入值预测热图；

S45：根据步骤S44输出的人体关键点预测热图和联合嵌入值预测热图分别计算人体关键点损失和联合嵌入损失，并对人体关键点检测模型参数进行调整，其中人体关键点检测模型参数包含软间隔Δ以及控制各人体关键点预测分值的超参数α和β；

S46：重复执行步骤S41-S45，直至完成对训练数据集中全部训练图片的训练。