[发明专利]基于并联空洞卷积和身体结构约束的人体姿态检测方法

说明书

本发明公开了一种基于并联空洞卷积和身体结构约束的人体姿态检测方法。本发明实现：下载人体姿态数据集，获取训练数据集；根据目标检测算法对训练数据集中的每张图片提取人物个体，获取只包含人物个体的训练图像；根据人体姿态数据集中提供的骨骼点坐标，制作训练图像的骨骼点热图；采用构建关联集合的方法来构建身体结构约束损失模块，采用不同膨胀率的空洞卷积核来构建并联空洞卷积网络。采用Adam优化器训练带有身体结构约束损失模块的并联空洞卷积网络。本发明采用并联空洞卷积网络防止因重复上下采样而造成信息损失，同时还对损失函数进行改进，考虑骨骼点之间的关联性，在复杂环境下能较好的提取特征，获得更好的人体姿态检测效果。

技术领域

本发明属于计算机视觉和模式识别技术领域，具体涉及到人体姿态检测，具体是一种基于并联空洞卷积和身体结构约束的人体姿态检测方法。本发明应用于复杂场景下精确定位人体各关节点来准确检测人体姿态。

背景技术

人体姿态检测是目前计算机视觉中最重要的任务之一，它主要利用深度学习将输入图片映射成具有几何约束以及相互联系的多个骨骼点。实现对人体姿态更好的理解是计算机视觉中其他更高级的任务的基本前提，比如动作捕获、人机交互、动作识别等。

这些年来，很多方法被提出来更好的实现人体姿态检测。早些时候，通过将局部检测器与构造约束相结合来实现，随着硬件和数据集的发展，卷积神经网络被应用于该领域，极大地提升了在人体姿态检测方面的性能。目前许多方法都是将图片送进网络，并且这些网络一般都包括高分辨率到低分辨率的网络子模块，最后再提高分辨率。比如，沙漏堆叠网络包括了若干个沙漏网络，每个沙漏网络通过重复的下采样降低分辨率，又重复的进行上采样增大分辨率。但是在上采样的过程中，会造成信息的损失，特别对于遮挡、背景和人体区分不大的情况下，会产生错误的骨骼点估计。

发明内容

本发明的目的在于针对已有技术的不足，提出一种能够适应复杂场景下的基于并联空洞卷积和身体结构约束的人体姿态检测方法。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤(1)下载人体姿态数据集，获取训练数据集；

步骤(2)根据目标检测算法对训练数据集中的每张图片提取人物个体，获取只包含人物个体的训练图像；

步骤(3)根据人体姿态数据集中提供的骨骼点坐标，制作训练图像的骨骼点热图；

步骤(4)采用构建关联集合的方法来构建身体结构约束损失模块，采用不同膨胀率的空洞卷积核来构建并联空洞卷积网络。

步骤(5)采用Adam优化器训练带有身体结构约束损失模块的并联空洞卷积网络；

步骤(6)用训练好的带有身体结构约束损失模块的并联空洞卷积网络对测试集进行骨骼点检测，确定骨骼点位置。

步骤(7)连接骨骼点并输出，得到人体姿态。

进一步，所述的步骤(2)所述的获取训练图像的过程如下：

2.1对于训练数据集的每一张图片，可能存在一个人物或多个人物，首先采用目标检测网络对图片中的个体进行检测，检测之后返回每一个个体的检测边界框。

2.2获得每个个体的检测边界框之后，对边界框进行预处理，使其达到网络输入规定的分辨率，然后结合骨骼点坐标文件，对每个个体的每个骨骼点进行标注，获取只包含人物个体的带有标注的训练图像；

进一步，所述的步骤(3)所述的制作训练图像的骨骼点热图的过程如下：

3.1当获取带有标注的训练图像后，对训练图像中每个骨骼点，以其坐标为中心，生成对应的高斯热图，对于训练图像中缺失的骨骼点生成空白图。