[发明专利]一种基于立体视觉的三维手掌姿态识别交互方法和系统

说明书

技术领域

本发明属于计算机视觉和人机交互技术领域，更具体地，涉及一种基于立体视觉的三维手掌姿态识别方法和系统。

背景技术

传统的基于鼠标、键盘、遥控器等人机交互技术虽然已经相对完善，但是在操作方式上并不人性化。且在某些场合，传统的鼠标键盘以及遥控器已经无法满足新的交互需求。

随着科技的发展，基于视觉的人机交互技术已经成为了一个主流技术。这种技术一般是采用手势控制，而手势识别又可以分为二维和三维。二维感测技术可直接透过相机的X轴及Y轴影像进行手势判断，但由于缺乏深度信息，仅能判断简单的肢体动作，在某些交互场景显得不足。

而三维手势交互方式，从信息表达能力上来看，能够表示复杂的多维关系。从交互方式上来看，三维人机交互方式模拟现实世界中人与物体的交互方式，更加清晰。但是现有的三维手势通常都还是基于对指尖检测识别手势进行匹配，无论从精度上还是适用性上都存在一定的局限性。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供一种基于立体视觉的三维手掌姿态识别交互方法和系统，通过探测手掌在三维空间中的运动姿态，同时匹配预定义的手势，实现人机交互。

为实现上述目的，按照本发明的一个方面，提供一种基于立体视觉的三维手掌姿态识别交互方法，包括以下步骤：

步骤1使用立体视觉信息采集设备采集图像作为立体视觉信息；

步骤2根据采集的所述立体视觉信息，获取其三维数据；

步骤3根据得到的所述三维数据，使用分割算法对手掌进行分割，分割得到所述手掌的点云以及手掌区域的轮廓信息，应用点云平面拟合方法，获得所述手掌在三维空间中的姿态；

步骤4根据所述姿态对所述手掌的运动状态进行识别，获得所述运动状态的特征值信息；

步骤5将得到的连续多帧的所述运动状态的特征值与预定义的标准手势的特征值时间序列进行匹配，得到与所述运动状态最接近的标准手势，将其作为手势匹配结果进行。

按照本发明的另一方面，提供一种基于立体视觉的三维手掌姿态识别交互系统，包括：

三维数据采集单元，通过立体视觉信息采集设备采集图像作为立体视觉信息，获取其三维数据；

手掌三维姿态识别单元，通过得到的所述三维数据对手掌进行分割，分割得到所述手掌的点云后，应用点云平面拟合方法，获得所述手掌在三维空间中的姿态；

手势匹配单元，根据所述姿态对所述手掌的运动状态进行识别，获得所述运动状态的特征值信息，将得到的连续多帧的所述运动状态的特征值与预定义的标准手势的特征值时间序列进行匹配，得到所述运动状态最接近的标准手势，将其作为手势匹配结果；

人机交互单元，根据所述手势匹配结果，进行三维交互应用，实现人机交互。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：

相较于现有基于指尖识别的技术，本发明通过识别手掌的姿态，使得识别的精度更高，更少的出现误识别的操作。同时解决了一般基于指尖识别的高运算量的问题，减少了运算的时间，实现了更加实时的人机互动功能。对比基于手套的手势识别方法，本发明只需要一个深度信息采集设备，成本更低，也更加自然，保证了交互的准确性和易用性。

附图说明

图1为本发明基于立体视觉的三维手掌姿态识别交互方法的流程图；

图2为本发明获得三维数据之前的结构框图；

图3为本发明基于立体视觉的三维手掌姿态识别交互系统的结构框图；

图4为本发明基于立体视觉的三维手掌姿态识别系统使用的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1所示为本发明基于立体视觉的三维手掌姿态识别交互方法的流程图，具体包括以下步骤：

步骤1采集图像作为立体视觉信息，立体视觉信息采集设备可包括：深度摄像机、双目摄像机、多目摄像机等。