[发明专利]一种基于RGBD融合网络的手部姿态估计系统及方法

说明书

本发明提供一种基于RGBD融合网络的手部姿态估计系统及方法。本发明系统包括全局深度特征提取模块、残差模块、多模态特征融合模块、分支并行干扰消除模块，全局深度特征提取模块，采用平行的两路交叉融合的残差网络，上路为高分辨率的特征图，下路为低分辨率特征图，通过交叉融合多分辨率的信息来进行多尺度特征融合，最终在高分辨率特征图预测网络输出；系统的输入部分分为深度图像处理支路和RGB彩色图像处理支路，两个支路所提取的特征，进行多模态融合后形成全局特征，送入分支并行干扰消除模块进行手部分支的特征提取，得到强化的手部分支特征，用于最终的关节位置预测。本发明主要通过彩色图像与深度图像的信息综合，达到具有较高准确度的手部姿态估计。

技术领域

本发明涉及计算机视觉和深度学习技术领域，具体而言，尤其涉及一种基于RGBD融合网络的手部姿态估计系统及方法。

背景技术

基于视觉的3D人手姿态估计在计算机视觉、虚拟现实、机器人等领域是热点研究问题，已经有很多的研究成果。但是，到目前为止，基于视觉信息估计人手姿态仍然是一个没有完美解决的问题，手指关节的高度灵活的变化、不同手指之间具有较高的相似性、手指动作时相互之间的遮挡以及物体对手指的遮挡，给手部姿态估计带来了较大的挑战，阻碍了相应应用领域智能化、全自动化的发展。因此，开发性能更为优良的人手姿态估计方法有十分重要的意义。

国内外研究人员在人手姿态估计问题上尝试了很多研究方案。输入数据模态包括单幅彩色RGB图像.随着深度相机技术的成熟和价格下降，使用深度数据估计人手姿态近年来得到了广泛关注.关于基于视觉的手部姿态估计方法，大致可以分为基于生成式模型的方法和基于数据学习的方法。生成式模型法通常预先定义一个手部模型，借助不同的目标函数实现手部模型与观测到的深度图像的最优匹配。这类方法的性能对目标函数的合理性有较高依赖，对初始参数值敏感，估计速度慢，当手部动作变化较快时，姿态估计的准确度下降严重。数据学习法用大量数据训练手部姿态估计模型，直接回归得到关节位置或角度。

Choi等使用合成的高质量仿真数据训练网络模型来估计手部关节位置，然而仿真数据与真实数据之间存在较大的差异，在实际应用时存在泛化问题。Ge等人将实际深度图像转换成点云，再将点云投影到手部的方向包围盒的三个正交平面上，形成多视角的深度图，利用2D CNN学习更有效的空间特征。Moon等人将深度数据转换为3D体素表达，使用更复杂的3D CNN进行学习，达到了较高的预测精度，然而构造3D数据的转换过程较为复杂且耗时。

上述手部姿态检测的研究将环境限定为空手动作且为面向相机的第三视角，尽可能地减少遮挡，为关节检测带来很大便利，然而当场景不是第三视角或与物体交互时，存在较强的遮挡，为解决这样的问题，Goudie使用真实的深度图像，通过手物分割网络与关节估计网络的二阶段操作，实现手操作小球时的手部关节估计，然而此方法仅限已知物体，需要额外的分割标注，且对于其他物体的泛化能力未知。

发明内容

根据上述提出的技术问题，而提供一种基于RGBD融合网络的手部姿态估计系统及方法。针对不同视角下手物交互过程中人手姿态估计问题，本发明主要通过彩色图像与深度图像的信息综合，达到具有较高准确度的手部姿态估计。

本发明采用的技术手段如下：

一种基于RGBD融合网络的手部姿态估计系统，包括：

全局深度特征提取模块，采用平行的两路交叉融合的残差网络，上路为高分辨率的特征图，下路为低分辨率特征图，通过交叉融合多分辨率的信息来进行多尺度特征融合，最终在高分辨率特征图预测网络输出；

残差模块，对于彩色图像，先使用两组堆叠的卷积-池化模块提取低级特征，并使用关键点的2D热图作为监督，引导彩色特征提取聚焦在手部关键点附近，将彩色图像中得到的手部关键点的低级特征送入残差模块；