[发明专利]基于单个RGB图像的三维手势识别方法与系统

说明书

本发明公开了一种基于单个RGB图像的三维手势识别方法与系统，首先通过手部分割网络生成只包含手的手部掩膜，原始的RGB图像利用手部掩膜裁剪出只包含手的手部图像；然后利用残差网络提取裁剪的手部图像的特征，减少计算量和防止过拟合；再利用二维关键点检测网络将卷积神经网络整合进可以学习信息丰富的空间信息模型序列化的预测框架，不断对手的关键点位置进行细化；最后重构三维关键点，利用二维关键点生成三维关键点，输出最有可能的手势。本发明对基于单个RGB图像的三维手势识别方法进行了充分的探索，从而达到可以在虚拟场景通过手势建立最直接的人机交互方式，让机器理解人类的表达。

技术领域

本发明属于手势识别领域，更具体的说，是一种基于单个RGB图像的三维手势识别方法与系统。

背景技术

基于可穿戴设备的手势估计，一般是将集成传感器置于手势估计的可穿戴设备中，完全不受手被遮挡的影响，可以快速的获取数据信息、精确度比较高，常用的可穿戴设备包括运动传感器和数据手套。但因为价格比较昂贵，操作比较复杂，且每次需要穿戴传感器类的设备，非常的不便捷，这导致在日常生活中的使用并不普遍。

早期的三维手势估计是基于深度图像的，比如，将预定义一个由多个关键点组成的手势模型拟合到输入的深度图像中。首先，创建大量的候选手势模型，然后从创建的大量的手势模型中选择一个和当前深度图像最匹配的手势模型，之后设计一个目标函数比较深度图和手势模型的相似性，通过最小化这个目标函数，找到最好的手模型。在目标函数优化问题上计算量大，手势估计的精确度高度依赖相似性函数的设计，这对手势估计是不利的。一般对静态手势估计达到很好的效果，但如果图像经过旋转、扭曲和大小改变时效果就不是那么理想了；再比如使用多视图进行三维手势估计，直接从深度图中通过二维热图估计二维关键点坐标，之后借助多视图的方式估计三维关键点，生成几何上一致的手的关键点，但是多视图相机系统成本高，一般用在实验室。目前大多数工作从单个RGB图像进行三维手势估计存在局限性，需要借助额外的深度图或多视图图像。

发明内容

发明目的：针对现有技术的不足，本发明目的在于提供一种基于单个RGB图像的三维手势识别方法与系统，仅使用单个RGB图像作为输入，依次通过手部分割网络、二维关键点检测网络预测二维关键点，再计算手腕关键点的绝对深度，重构出三维关键点，具有成本低、计算量小、准确性高等优点。

技术方案：为实现上述发明目的，本发明采用如下技术方案：

基于单个RGB图像的三维手势识别方法，包括如下步骤：

(1)将单个RGB图像输入手部分割网络，生成只包含手的手部掩膜，并将原始的RGB图像利用手部掩膜裁剪出只包含手的手部图像；

(2)利用残差网络ResNet-50提取裁剪的手部图像的特征；

(3)利用二维关键点检测网络对手的关键点位置进行细化；所述二维关键点检测网络采用序列化结构，分为多个阶段不断缩小关键点检测范围，采用置信度图的方式表示手的关键点结果，后一阶段直接在前一阶段的置信度图操作，输出越来越精细化的手的关键点位置；后一阶段的输入为前一阶段的输出和残差网络提取的手部图像的特征；

(4)基于二维关键点重构三维关键点，得到三维手势；重构过程中先求出手腕关键点的绝对深度值，再利用与手腕关键点的相对坐标进行三维关键点定位；其中手腕关键点的绝对深度值α_x，α_y，A_real和A_img分别为焦距乘以x和y轴的像素距离因子、手在真实空间和图像空间的面积。

作为优先，所述二维关键点检测网络中，在图像每个位置z＝(u,v)，第p个关键点在阶段t的所有置信度分数为表示为：