[发明专利]基于双流网络的人体姿态估计方法

说明书

本发明公开了基于双流网络的人体姿态估计方法，步骤1：加载数据集，强化训练数据集。步骤2：使用YOLO v3对输入图像进行人体检测，获得人体检测框，剪裁人体检测框得到固定的纵横比。步骤3：对剪裁后的人体图像采用MSR算法进行处理。步骤4：将获得的人体图像与MSR人体图像分别输入姿势细化网络与姿势校正网络进行特征提取。步骤5：将双流网络输出的两组特征图通过自适应特征融合进行融合。步骤6：对融合后的特征图进行通道压缩，生成人体热图，并回归关键点坐标。步骤7：通过opencv连接相对应的关键点。本发明拥有更好的准确度与泛化性，在不同的外部环境下能够保持较好的泛化性。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于双流网络的人体姿态估计方法。

背景技术

人体姿态估计在机器视觉中具有重要的地位，其目的是从给定的图像或视频中确定一个人的身体关键点位置，是人体识别、行为识别、意图判断的基础，对于一些关于人类行为信息的计算机视觉应用来说是必不可少的，如动画、游戏、健康和运动等等。人体姿势估计的主要过程分为两个基本步骤：第一步定位人体关键点，例如：头部、肩部、手臂、手部、膝盖、脚踝；第二步将这些关节分组为有效的人类姿势配置，该配置决定了身体部位之间的成对项。然而由于背景场地的变化、光线亮度、拍摄角度、服装颜色以及人体遮挡诸多因素，彩色图像人体姿态估计一直是计算机视觉中难点，许多算法网络在不同环境下对人体关键点检测，其预测精度会出现不同程度的下降。

发明内容

本发明的目的是提供一种基于双流网络的人体姿态估计方法，解决了目前人体关键点检测在不同环境下泛化性弱的问题。

本发明所采用的技术方案是，

基于双流网络的人体姿态估计方法，具体包括以下步骤：

步骤1：加载MPII数据集或MS COCO2017数据集，对训练数据采用数据增强的方法强化训练，生成输入图像；

步骤2：使用YOLO v3对输入图像进行人体检测，获得人体检测框，并将人体检测框的高度或宽度剪裁到固定的纵横比，得到剪裁后的RGB人体图像；

步骤3：对剪裁后的RGB人体图像采用MSR算法进行处理并生成MSR图像，MSR算法从RGB图像中去除了低频成分，并保留部分高频成分，消除光照影响；

步骤4：将剪裁后的人体RGB图像与MSR图像输入双流网络进行特征提取，双流网络由姿势细化网络与姿势校正网络组成，RGB图像输入姿势细化网络，MSR图像输入姿势校正网络，生成两组特征图；

步骤5：将双流网络输出的两组特征图通过自适应特征融合算法进行进一步融合，得到特征融合后的特征图；

步骤6：对特征融合后的特征图通过conv1×1卷积层进行通道压缩，生成人体热图，并回归关键点坐标，得到人体关键点；

步骤7：通过opencv连接相对应的人体关键点。

步骤1中，数据增强包括裁剪、翻转、旋转和缩放；其中，旋转范围为-45°～+45°，缩放范围为0.7～1.35。

步骤3中，SSR为如下公式(1)：

r(x,y)＝log[S(x,y)]-log[S(x,y)*F(x,y)] (1)；

其中S(x，y)为原图像，r(x，y)为图像反射信息，*表示卷积运算，F(x，y)为环绕函数，取高斯环绕函数，如下公式(2)：

MSR在SSR的基础上，对多个SSR的输出同大、中、小尺度参数在一定权重下相叠加，得到如下公式(3)：

其中k＝3，ω_i为权重参数。