[发明专利]基于深度相机的手腕点和手臂点的提取方法

说明书

技术领域

    本发明涉及一种基于深度相机的手腕点和手臂点的提取方法，利用Kinect深度相机采集的彩色图、深度图及OpenNI/NITE（开放式自然交互API）提供的手心点三维位置，先将手部区域分割出来，然后利用视觉方法将手腕点和手臂点提取出来。提取的手腕点，手臂点及NITE库提供的手心点可以设计多种人机交互手势，然后将设计的手势应用到虚拟现实和增强现实等领域。

背景技术

在Kinect等深度相机出来之后，很多研究者利用Kinect做了很多手势识别的研究，这些研究主要是基于指尖和手心的手势识别研究，而将手腕和手臂加进来，组合设计一些手势识别的研究少之又少。手腕在手势识别中的作用是至关重要的。由于手腕是从手臂到手指之得承上启下的枢纽，因此很多以手腕为主导的动作必然也需要手臂的协调和参与。能够精确提取手腕点和手臂点，对基于手腕和手臂的手势识别的精确度是至关重要的。

现有基于深度相机的手势识别方法都是怎么提取手指尖点或者手心点，通过手心点和手指尖点的位置或个数来设计一些手势，这些手势比较单一，而且应用范围比较有限。如果能将手腕点和手臂点提取出来，将手指尖点、手心点、手腕点和手臂点组合设计手势，不仅是手势种类多样化，而且有广泛的使用范围。例如，根据手腕点和手臂点的位置设计挥臂的手势，此手势可以应用于虚拟打球；根据手心点、手腕点和手臂点设计手臂抬起或放下的手势，可以用于虚拟举杠铃。

发明内容

本发明的目的在于提供一种基于深度相机的手腕点和手臂点的提取方法，解决了现有技术存在的上述问题。本发明通过Kinect深度相机提供的深度图和OpeNI/NITE提供的手心点的三维位置，首先将手区域分割出来，然后将分割出的二值图像作为掩码图，从彩色图像中分割出手区域，利用肤色模型和贝叶斯分类器在手区域的彩色图像中提取精确的手区域。在提取出的精确手区域中，利用手腕点提取方法和手臂点提取方法提取手腕点和手臂点，然后利用手腕点、手臂点和手心点来设计多种手势。

本发明的上述目的通过以下技术方案实现：

基于深度相机的手腕点和手臂点的提取方法，通过Kinect深度相机采集的彩色图、深度图及OpenNI/NITE提供的手心点三维位置，先将手部区域分割出来，然后通过贝叶斯肤色模型将精确的手区域提取出来，通过视觉方法将手腕点和手臂点提取出来；提取的手腕点、手臂点及OpenNI/NITE提供的手心点设计多种人机交互手势，然后将设计的手势应用到虚拟现实和增强现实领域；

所述手部区域分割是：先在二维方向上分割出手区域，然后在深度方向上分割，再将分割出的手区域图像作为掩码图，在Kinect提供的彩色图像中将手区域分割出来，然后通过贝叶斯肤色模型提取精确的手区域；

所述手腕点提取的方法是：首先提取手腕的一个端点，然后以此端点为矩形对角线的一个顶点，与手轮廓上的每个点做平行于坐标轴的内切矩形，选择对角线最短的内切矩形的中心点为手腕点；

所述手臂点提取的方法是：首先求取计算轮廓的所有内切圆，在所有的内切圆中，选择内切圆的半径大于设定的阈值（参见内切圆直径阈值的参数训练）以防止取到手指上，手心点和手腕点都不在内切圆内，而且距离手心点和手腕点最远的内切圆的圆心为手臂点。

 根据手心点、手腕点及手臂点的位置和所成直线的夹角的设计了3类手势，并与虚拟现实和增强现实相结合，把设计好的手势应用到虚拟现实和增强现实中。

本发明的有益效果在于：现有的提取手腕和手臂的方法，大部分是在手腕和手臂处设置辅助标记，比如在手腕上系一个有别于肤色的带子，把手腕从提取出来。基于纯视觉的方法将手腕点和手臂点提取出来的方法很少见。在现有的手势识别研究和应用中，将手腕点和手臂点作为跟踪点并设计交互的实例也很少见。本方法简单易行，计算量小，能够实时稳定的提取到手腕点和手臂点，并用提取到的手腕点和手臂点设计手势并应用到虚拟现实和增强现实领域。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明的提取精确手区域的流程图；

图2为本发明的提取精确手区域时输入的彩色图；

图3为本发明的提取精确手区域时深度图；

图4为本发明的提取精确手区域时对深度图进行分割得到的粗糙手区域；

图5为本发明的提取精确手区域时粗糙手及手臂区域对应的彩色图；

图6为本发明的提取精确手区域时得到的精确手区域图像；