[发明专利]虚拟增强现实交互设备的手指识别方法、系统及交互设备

说明书

本发明公开了一种虚拟增强现实交互设备的手指识别方法、系统及交互设备，方法包括：采集当前时刻用户的手部接触信息、当前时刻用户手部对手柄本体的压力信息、当前时刻手柄本体的运动信息；获取贴近传感器矩阵采集的手部接触信息、压力传感器采集的压力信息、IMU惯性传感器模块采集的运动信息，并对上述三种传感器采集信息进行滤波处理后，传输到已训练好的手势识别模型中进行手势识别操作；手势识别模型以手部接触信息、压力信息、运动信息作为输入信息，并根据所述输入信息进行手势识别动作，并识别输出当前时刻用户其施加在手柄本体的手势识别结果。相对于现有技术而言，本发明的技术方案其具有快速识别，识别准确度高等显著的技术优势。

技术领域

本发明涉及AR/VR技术领域，尤其涉及一种虚拟增强现实交互设备的手指识别方法、系统及交互设备。

背景技术

AR(AugmentedReality，增强现实技术)，它是一种将真实世界信息和虚拟世界信息“无缝”集成的技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。VR(VirtualReality，虚拟现实技术)，是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统，使用户沉浸到该仿真环境中。

AR设备或VR设备可提供一个虚拟的环境与用户进行交互，一般来说，AR设备或VR设备的载体通常为交互手柄，在进行手指交互识别时，交互设备在用户手指对交互手柄施加控制操作后可感应识别相应的手指控制操作。目前常见的交互设备的手势识别技术主要分为两大类：接触式和非接触式方法。

关于非接触式手势识别方案，主要通过视觉传感器，对用户手部手势和运动进行拍摄。将拍摄到的图像进行图像分割，区分出用户手部与背景。将分割出的用户手部图像，应用于手部识别算法，识别出用户的手势与运动等，完成后续的相应动作。然而，上述非接触式识别方法也存在一些技术问题，一、基于非接触式手势识别方案，受限于摄像头FOV(视场角)等关键参数限制，系统很容易无法拍摄到用户手部图像，从而无法在FOV以外，识别出用户的手部运动和姿态。二、基于非接触式手势识别方案，易受到环境光干扰，手部容易被遮挡，手势识别算法鲁棒性较差。三、基于非接触式手势识别方案，需要配置外置摄像头成本较高。该算法较为复杂，识别速度较慢，整个识别系统的功耗较高。

关于现有的接触式手势识别方案，主要利用惯性传感器、距离传感器、压力传感器等器件，采集用户手部姿态和运动时产生的电信号。将电信号进行相应的处理后，输出都给手部识别算法，识别出用户的手势与运动等，完成后续的相应动作。然而，上述现有的基于接触式手势识别方式也存在一些问题，其虽然没有FOV的限制，也无需外置摄像头，但是其识别算法相对较为简单。

因此说，对于现有的接触式手势识别方式而言，如何克服上述技术问题是本领域技术人员需要解决的问题。

发明内容

有鉴于此，本发明实施例提出一种虚拟增强现实交互设备的手指识别方法、系统及交互设备(即该交互设备为虚拟增强现实交互设备)。

本发明的一实施例提出一种虚拟增强现实交互设备的手指识别方法，包括如下操作步骤：

采集当前时刻用户的手部接触信息、当前时刻用户手部对手柄本体的压力信息、当前时刻手柄本体的运动信息；

获取贴近传感器矩阵采集的手部接触信息、压力传感器采集的压力信息、IMU惯性传感器模块采集的运动信息，并对上述三种传感器采集信息进行滤波处理后，传输到已训练好的手势识别模型中进行手势识别操作；

已训练好的手势识别模型以手部接触信息、压力信息、运动信息作为输入信息，并根据所述输入信息进行手势识别动作，并识别输出当前时刻用户其施加在所述手柄本体的手势识别结果(包括手势和姿态)。