[发明专利]一种基于立体视觉的动作采集和反馈方法及系统

说明书

技术领域

本发明涉及一种基于立体视觉的动作采集和反馈方法及系统，属于虚拟现实和增强现实技术领域。

背景技术

采集手部动作并将其作为输入信号用于计算机控制，从而可以在虚拟环境中还原该手部动作用以人机交互。此类人机交互方式通常有如下的实现途径：

1、激光扫描：激光扫描前方的范围，传感器采集每个方向的反射光，计算距离，即得前方每个点位的深度信息，组成一幅深度图。如果将手放至传感器前方，手的轮廓即可在深度图上显示出来；而如果采用激光连续扫描前方范围，那么手的空间位置、运动轨迹和姿态均可被计算机连续采集。采集的数据输入计算机后，形成控制数据，进而进行人机交互。该方法的优点是得到的空间环境信息精确，缺点是若想实现低延时的动作快速捕捉需要较昂贵的设备，且设备总体体积较大；

2、红外光斑扫描：使用红外光源向前方射出随机形状的光斑，该光斑照射于前方外形不同的物体上时，光斑形状会相应的发生改变；摄像头将采集到的光斑形状与存储的形状进行对比，并通过特殊算法进行解算，从而得到设备前方每个点位的深度信息，组成深度图。若将手放在设备前，同样可实现手部动作的连续采集。该方法适用于KINECT等成熟的娱乐设备，技术成熟可靠，价格中等，设备总体积中等，但是其算法复杂，占用的系统资源较多，总体延时较大，因而降低了使用的舒适程度；

3、电磁感应：设备向前方发射电磁波，当手等物体进入电磁场时，会形成扰动；设备通过特殊算法将扰动还原为手部动作，实现动作采集。该方法延时小，成本低，但是还原精度和稳定性较差，且只能实现动作采集，无法实现图像采集用于增强现实用途；

4、视觉识别：通过单摄像头或双摄像头采集图像，并通过图形学算法采集手部动作，进行人机交互。但是由于手部轮廓复杂，特征不明显，因而该方法的运算量较大，会产生一定的延迟，影响用户体验。

综上，以上现有的解决方案均无法同时解决成本、延时、精确稳定性的问题。最重要的是没有反馈机制，当人手与虚拟世界物体发生交互时，仅仅由视觉感知动作，无法产生触觉等力的反馈，真实性大打折扣。

发明内容

本发明的目的在于，提供一种基于立体视觉的动作采集和反馈方法及系统，它可以有效解决现有技术中存在的问题，尤其是现有技术无法同时解决成本、延时、精确稳定性的问题及无法产生力反馈的问题。

为解决上述技术问题，本发明采用如下的技术方案：一种基于立体视觉的动作采集和反馈方法，包括以下步骤：采集前方空间内附件装置上红外光源的空间位置，并将该空间位置映射入虚拟空间中，控制虚拟物体的位置和方向；当虚拟物体与虚拟环境发生交互行为时，无线控制附件装置发生震动，模拟力的回馈感。

优选的，所述的采集前方空间内附件装置上红外光源的空间位置具体包括：固定在头戴式显示器上的双摄像头装置分开左右采集前方的图像，并将左右两路图像数据传入计算机中，计算机对两路图像数据进行处理，即得附件装置上红外光源的空间位置。

更优选的，所述的双摄像头装置分开左右采集前方的图像，并将左右两路图像数据传入计算机中具体包括：双摄像头装置通过左右两侧的CMOS或CCD传感器采集前方的图像数据，该图像数据经过A/D转换器后成为数字信号进入DSP处理器，进行曝光、增益、白平衡处理；处理后的数字信号进入编码芯片中进行信号编码；编码后，两路视频信号进入数据总线合成一路并通过USB数据线输出至计算机，从而能得到稳定、清晰的数字图像。

所述的USB数据线也可为双摄像头装置自带的数据线。

更优选的，所述的计算机对两路图像数据进行处理，即得附件装置上红外光源的空间位置具体包括：计算机对两路视频信号进行解码，并采集两路视频信号中红外光源在图像中的X、Y坐标值；将每个镜头采集的红外光源的坐标值换算成红外光源相对于镜头的方位角；当已知相对两个镜头的方位角及两个镜头的间距时，计算即得红外光源的X、Y、Z坐标值；将红外光源的X、Y、Z坐标值经镜头畸变数学经验模型调整后，即得红外光源相对于摄像头的真实空间坐标。该方法能够以较高精度和效率得到红外光源点的空间位置，从而实现目标物体的高速稳定捕捉。

本发明所述方法还包括：将附件装置上多个红外光源的相对位置(即相对于摄像头的真实空间坐标)与计算机中存储的模型进行耦合对比，判断所述红外光源对应的附件装置的种类以及红外光源在该附件装置上的具体位置，从而判断这些附件装置的空间位置和姿态，而连续的坐标采集也能计算出这些装置的移动轨迹和速率，并以此作为人机交互的控制手段。