[发明专利]基于并联空洞卷积和身体结构约束的人体姿态检测方法

权利要求书

1.基于并联空洞卷积和身体结构约束的人体姿态检测方法，其特征在于包括如下步骤:

步骤(1)下载人体姿态数据集，获取训练数据集；

步骤(2)根据目标检测算法对训练数据集中的每张图片提取人物个体，获取只包含人物个体的训练图像；

步骤(3)根据人体姿态数据集中提供的骨骼点坐标，制作训练图像的骨骼点热图；

步骤(4)采用构建关联集合的方法来构建身体结构约束损失模块，采用不同膨胀率的空洞卷积核来构建并联空洞卷积网络；

步骤(5)采用Adam优化器训练带有身体结构约束损失模块的并联空洞卷积网络；

步骤(6)用训练好的带有身体结构约束损失模块的并联空洞卷积网络对测试集进行骨骼点检测，确定骨骼点位置；

步骤(7)连接骨骼点并输出，得到人体姿态；

步骤(2)所述的获取训练图像的过程如下：

2.1对于训练数据集的每一张图片，可能存在一个人物或多个人物，首先采用目标检测网络对图片中的个体进行检测，检测之后返回每一个个体的检测边界框；

2.2获得每个个体的检测边界框之后，对边界框进行预处理，使其达到网络输入规定的分辨率，然后结合骨骼点坐标文件，对每个个体的每个骨骼点进行标注，获取只包含人物个体的带有标注的训练图像；

步骤(3)所述的制作训练图像的骨骼点热图的过程如下：

3.1当获取带有标注的训练图像后，对训练图像中每个骨骼点，以其坐标为中心，生成对应的高斯热图，对于训练图像中缺失的骨骼点生成空白图；

3.2每个骨骼点生成的高斯热图按指定顺序排列，即每个个体骨骼点的先后顺序要保持一致，所有的高斯热图的骨骼点的先后顺序都保持一致；

步骤(4)具体实现过程如下：

4.1构建带有身体结构约束损失模块：

4.1.1将每个骨骼点通过身体结构约束构建集合，构建规则如下：

各个骨骼点对应的标号为：头部-0，颈部-1，右肩-2，右肘-3，右腕-4，胸部-5，骨盆-6，右臀-7，右膝-8，右踝-9，左肩-10，左肘-11，左腕-12，左臀-13，左膝-14，左踝-15，则集合S为{(0，1)，(0，1，2)，(0，1，2，3),...,(0，1，2，3，4,5,6,7,8,9,10,11,12,13,14,15)}，即集合中的每一个元素都是在身体结构上有相互连接关系的；

4.1.2使用如下公式计算身体结构约束损失模块：

其中，K表示骨骼点个数，P_kⁱ表示单个骨骼点预测值，表示单个骨骼点真实值，表示组合骨骼点预测值，表示组合骨骼点真实值，T表示集合S的元素个数，α表示权重系数；

4.2构建并联空洞卷积网络

构建的并联空洞卷积网络包括多个分支，每个分支是具有不同步长卷积核的空洞卷积网络，特征输出为y，则y[i]表示第i个骨骼点的特征输出，卷积核k，维度d，则空洞卷积操作如下：

r表示空洞卷积核的步长，即卷积核的间隔数量，普通的卷积是空洞卷积的一个特殊情况，当r＝1的时候，即是普通的卷积核，通过设置不同的r来获得不同大小的感受野。

2.根据权利要求1所述的基于并联空洞卷积和身体结构约束的人体姿态检测方法，其特征在于步骤(5)所述训练带有身体结构约束损失模块的并联空洞卷积网络的过程如下：

5.1将预训练好的深度卷积网络模型中的参数加载到并联空洞卷积网络，完成模型参数初始化；

5.2将步骤2.2得到的带有标注的训练图像输入到并联空洞卷积网络中，采用Adam优化器进行训练，利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率，经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳，最终得到训练好的并联空洞卷积网络；

5.3判断并联空洞卷积网络的身体结构约束是否小于阈值，若是，执行步骤5.4；否则返回步骤5.2；

5.4结束训练，得到训练好的并联空洞卷积网络。

3.根据权利要求2所述的基于并联空洞卷积和身体结构约束的人体姿态检测方法，其特征在于步骤(6)所述确定骨骼点位置的过程如下：

6.1把需要进行人体姿态检测的图片输入训练好的并联空洞卷积网络，获取人体所有骨骼点对应的整体高斯热图；在训练过程中，每个骨骼点会产生多张对应的骨骼点的高斯热图；每张高斯热图上的每一个骨骼点都会有一个表示该骨骼点的置信度；在同一个骨骼点对应的所有置信度中选取值最大的置信度，作为该骨骼点最终的预测坐标；所述的每张高斯热图包括整体高斯热图和骨骼点的高斯热；

6.2设置置信度阈值，当选取的最大的置信度低于置信度阈值时，则认为该骨骼点没有出现。