[发明专利]一种基于立体视觉的动作采集和反馈方法及系统

权利要求书

1.一种基于立体视觉的动作采集和反馈方法，其特征在于，包括以下步骤：采集前方空间内附件装置(14)上红外光源的空间位置，并将该空间位置映射入虚拟空间中，控制虚拟物体的位置和方向；当虚拟物体与虚拟环境发生交互行为时，无线控制附件装置(14)发生震动，模拟力的回馈感。

2.根据权利要求1所述的基于立体视觉的动作采集和反馈方法，其特征在于，所述的采集前方空间内附件装置(14)上红外光源的空间位置具体包括：固定在头戴式显示器(2)上的双摄像头装置(1)分开左右采集前方的图像，并将左右两路图像数据传入计算机(15)中，计算机(15)对两路图像数据进行处理，即得附件装置(14)上红外光源的空间位置。

3.根据权利要求2所述的基于立体视觉的动作采集和反馈方法，其特征在于，所述的双摄像头装置(1)分开左右采集前方的图像，并将左右两路图像数据传入计算机(15)中具体包括：双摄像头装置(1)通过左右两侧的CMOS或CCD传感器(18)采集前方的图像数据，该图像数据经过A/D转换器(19)后成为数字信号进入DSP处理器(20)，进行曝光、增益、白平衡处理；处理后的数字信号进入编码芯片(21)中进行信号编码；编码后，两路视频信号进入数据总线(22)合成一路并通过USB数据线(13)输出至计算机(15)。

4.根据权利要求3所述的基于立体视觉的动作采集和反馈方法，其特征在于，所述的计算机(15)对两路图像数据进行处理，即得附件装置(14)上红外光源的空间位置具体包括：对两路视频信号进行解码，并采集两路视频信号中红外光源在图像中的X、Y坐标值；将每个镜头采集的红外光源的坐标值换算成红外光源相对于镜头的方位角；当已知相对两个镜头的方位角及两个镜头的间距时，计算即得红外光源的X、Y、Z坐标值；将红外光源的X、Y、Z坐标值经镜头畸变数学经验模型调整后，即得红外光源相对于摄像头的真实空间坐标。

5.根据权利要求4所述的基于立体视觉的动作采集和反馈方法，其特征在于，所述方法还包括：将附件装置(14)上多个红外光源的相对位置与计算机(15)中存储的模型进行耦合对比，判断所述红外光源对应的附件装置(14)的种类。

6.根据权利要求4所述的基于立体视觉的动作采集和反馈方法，其特征在于，所述方法还包括：计算机(15)对两路视频信号解码后，分左右眼进行显示，形成对周围真实空间的立体视觉；在该立体视觉中，叠加虚拟物体或场景；同时计算机(15)采集两路视频信号中红外光源的X、Y坐标值，获得视野中附件装置(14)的控制命令，实现在增强现实环境下的互动。

7.实现权利要求1～6所述方法的基于立体视觉的动作采集和反馈系统，其特征在于，包括：双摄像头装置(1)、基座(11)、附件装置(14)和计算机(15)，所述的基座(11)上设有A蓝牙模块(16)和USB数据线(13)，USB数据线(13)与计算机(15)连接；所述的附件装置(14)上设有B蓝牙模块(17)，B蓝牙模块(17)与A蓝牙模块(16)无线连接；所述的附件装置(14)上还设有红外LED(8)或红外LED(8)、震动模组(4)和驱动盒(5)，驱动盒(5)分别与A蓝牙模块(16)和震动模组(4)连接。

8.根据权利要求7所述的基于立体视觉的动作采集和反馈系统，其特征在于，还包括：头戴式显示器(2)，双摄像头装置(1)分开左右固定于头戴式显示器(2)上。

9.根据权利要求7或8所述的基于立体视觉的动作采集和反馈系统，其特征在于，所述的附件装置(14)为手套形附件装置(3)、指环形附件装置(6)、枪形附件装置(7)或手柄附件装置(10)，所述的手套形附件装置(3)、指环形附件装置(6)、枪形附件装置(7)或手柄附件装置(10)上分别设有红外LED(8)，手套形附件装置(3)上还设有震动模组(4)和驱动盒(5)，枪形附件装置(7)、手柄附件装置(10)上还设有扳机及按键(9)，扳机及按键(9)与B蓝牙模块(17)连接。

10.根据权利要求9所述的基于立体视觉的动作采集和反馈系统，其特征在于，所述的双摄像头装置(1)包括：CMOS或CCD传感器(18)、A/D转换器(19)、DSP处理器(20)和编码芯片(21)，CMOS或CCD传感器(18)、A/D转换器(19)、DSP处理器(20)和编码芯片(21)顺次连接，编码芯片(21)通过数据总线(22)及USB数据线(13)与计算机(15)连接。