[发明专利]一种基于神经网络的三维手势关键点检测方法和系统

说明书

本发明公开了一种基于神经网络的三维手势关键点检测方法，包括以下步骤：获取包含手势区域信息与手势二维、三维关键点位置信息的手势数据集；训练手势分割网络，该网络以包含手势的RGB图像为输入，可以检测出RGB图像中的手势区域；对手势分割网络检测出的手势区域进行截取、上采样或下采样；训练二维手势关键点检测网络，该网络可以检测出手势区域图像中的多个二维手势关键点；将三维手势关键点的绝对坐标转换为相对坐标；训练二维到三维的手势关键点映射网络，该网络可以将多个二维手势关键点映射到三维空间中，形成三维手势关键点。本发明能够快速有效的从包含手势的RGB图像中准确检测出三维手势关键点。

技术领域

本发明属于模式识别技术领域，更具体地，涉及一种基于神经网络的三维手势关键点检测方法和系统。

背景技术

三维手势关键点检测技术是三维计算机视觉研究领域的重要内容之一，为动态手势识别、手势姿态预测、动作异常检测、虚拟现实等各种图像处理技术提供了重要基础；其主要任务是输入包含手势的图像，经过该技术处理后，输出给定图像中的三维手势关键点坐标，其中手势关键点包含各手指指尖与关节点；在三维手势关键点检测过程中，手势形状具有随机性，手势姿态灵活多变，各个手指可能互有遮挡，且目标手势的背景图像复杂多变，这为快速准确的实现三维手势关键点检测带来了困难。

目前主流的三维手势关键点检测方法都是基于深度摄像头，常见的深度摄像头有2009年微软首次提出的Kinect，它可以捕获用户在三维空间中的动作，也可以进行人脸识别；另外还有2013年Leap公司首次发布的Leap Motion，与Kinect识别用户全身的运动姿态不同，Leap Motion更注重于对手势姿态的三维识别，用户可以通过手势在PC上执行浏览网页、翻阅图片等操作。

虽然现有基于深度摄像头方法能够通过硬件设备计算出目标物体与当前摄像头的距离，并直接获取图像的深度信息，但此类方法仍具有测量范围小、硬件成本偏高、不适用于大规模应用场景的缺点。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于神经网络的三维手势关键点检测方法和系统，其目的在于，利用三维手势姿态估计网络，直接从包含手势的单帧RGB图像中估算出三维手势关键点的位置坐标，从而解决现有动态手势识别方法中存在的测量范围小、硬件成本偏高、不适用于大规模应用场景的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种基于神经网络的三维手势关键点检测方法，包括以下步骤：

(1)获取手势数据集；

(2)提取步骤(1)中获取的手势数据集中的一幅图像，并将该图像输入训练好的第一神经网络模型中，以得到手势热图；

(3)利用图像分割算法从步骤(2)中得到的手势热图中提取手势区域坐标，并从步骤(2)中提取的图像中分割出与提取的该手势区域坐标对应的手势区域，对该手势区域进行重采样；

(4)将步骤(3)重采样后的手势区域输入训练好的第二神经网络模型中，以得到对应于多个二维手势关键点的空域位置置信图；

(5)将步骤(4)中得到的每个空域位置置信图中二维手势关键点的绝对坐标转换为相对坐标；

(6)将步骤(5)得到的每个空域位置置信图中二维手势关键点的相对坐标输入训练好的第三神经网络模型中，以得到对应的三维手势关键点的空域位置坐标。

优选地，第一神经网络模型包括多个卷积层集合、以及多个池化层，单个池化层连接在两个相邻的卷积层集合之间，卷积层集合的数量是2到7个，池化层的数量是1到6个，第一神经网络模型的损失函数是图像中每个像素点在第一神经网络模型中的类别预测与该像素点在手势数据集中的真实类别之间的交叉熵。