[发明专利]基于改进高分辨率网络的人体姿态预测方法及系统

说明书

本发明公开了一种基于改进高分辨率网络的人体姿态预测方法及系统，该方法包括以下步骤：图像获取步骤：获取环境图像；姿态关键点预测步骤：将环境图像输入到姿态关键点预测模型中确定每个目标的姿态关键点得分热力图，其中姿态关键点预测模型为使用多组数据通过机器学习训练得出，多组数据中的每组数据包括环境图像和标识该环境图像中人的姿态关键点的标签，姿态关键点预测模型基于高分辨率网络结合粗预测损失得到；人体姿态解码步骤：基于姿态关键点的得分热力图结算形成人体姿态预测线，将人体姿态预测线映射在环境图像中得到人体姿态预测图像。本发明通过引入肢体损失约束深层神经网络学习相连节点的关系，提高了对姿态关键点的预测准确性。

技术领域

本发明涉及机器视觉识别技术领域，尤其涉及一种基于改进高分辨率网络的人体姿态预测方法及系统。

背景技术

随着民航事业的发展，基于计算机视觉的人体行为识别越发受到民航、安防等视频监控场景落地的关注。人体姿态算法是行为识别的主要研究方向，其目的是准确识别出给定图像中所有人的关节点(又称为关键点)像素点所在的位置。同时，人体姿态预测被广泛应用于人机交互、视频理解、视频监控等实际场景中。但由于遮挡、光照、尺度等因素，人体姿态预测依然是一项颇具挑战的研究任务。

随着深度学习技术的发展，尤其是深度卷积神经网络在计算机视觉领域的广泛应用，深度卷积神经网络极大地促进了计算机视觉的发展。近年来，人体姿态预测算法的研究主要是基于卷积神经网络展开的。根据给定图像中人员的数量，人体姿态预测可分为多人姿态预测和单人姿态预测。而由于多人姿态预测在现实场景中更为常见，且更具研究价值。现有的多人姿态预测算法主要分为自顶向下(top-down)的方法和自底向上(bottom-up)的方法。

自顶向下的方法往往具有较高的准确度，但是速度较慢。自顶向下的方法先检测输入图像中的人员，再对每个人员的图像进行姿态预测(即进行单人姿态预测)，这种方法较为依赖第一步中人员的检测结果，借助当前出色的行人检测器，自顶向下的方法可以输出准确的姿态。在自顶向下的方法研究中，单人姿态预测往往是其研究重点。其中，沙漏网络(Hourglass Network)是姿态预测网络模型中最常使用的骨干网络，沙漏网络由多组沙漏模块堆叠而成，每一个沙漏模块均包含下采样和上采样的过程，使得卷积网络拥有很大的感受野，从而较好地获取全局信息，因此获得比较好的姿态预测性能。此外，通过跳接通道，浅层局部特征也能很好地传递到深层网络，极大地提高了人体姿态预测的精度。受到该方法的启发，深层特征与浅层特征的融合可以进一步提升姿态预测网络的性能，在沙漏网络中增加每个阶段网络之间的跳接通道以便特征更好地传递和融合。同时，对不同阶段沙漏网络的输出采用不同的监督信息，对前两层沙漏网络的输出采用平滑的高斯热图标签，而对后面的输出则使用尖锐的高斯热图标签。

为了取得更好的预测性能，在现有技术中，许多研究工作设计了复杂的深度卷积神经网络或者通过堆叠网络的方式来提升网络模型的拟合能力。其中基于高分辨率网络HRNet的姿态预测方法为具有较先进的性能的复杂神经网络。但是，这类方法往往会带来计算量和参数量的极大增加，从而影响人体姿态预测算法在实际场景的落地应用。不同于沙漏网络使用不同分辨率网络模块串联的结构，高分辨率网络HRNet并联了多个不同分辨率的网络支路，各个支路之间通过上采样或下采样的操作进行尺寸对齐后融合。这种网络结构既能很好地提取全局信息，又能维持高分辨率的特征，使得人体关键点定位更精确。

如图1所示，现有技术中高分辨率网络HRNet有四个不同分辨率的并行支路，其分辨率分别是输入图像的1/4、1/8、1/16、1/32，而为了维系每个支路的信息量平衡，其卷积通道数依次增加，根据最大分辨率通道的卷积通道数量。该高分辨率网络从高分辨率子网作为第一阶段开始，逐步增加高分辨率到低分辨率的子网，形成更多的阶段，并将多分辨率子网通过特征融合模块并行连接。HRNet有两个版本：HRNet-W32和HRNet-W48。通过将网络的卷积通道数量增加，HRNet-W48比HRNet-W32具有更高的预测精度，但是也增加了大量的参数和计算量。