[发明专利]交互式三维实景与数字图像高速融合处理系统及处理方法

权利要求书

1.一种交互式三维实景与数字图像高速融合处理方法，包括以下步骤，

S100系统各模块初始化；

S200计算机建立立体的数字场景；

S300利用立体视觉图像技术修正头部位置，在虚拟现实软件中生成新视角的立体图像；

S400高速混入现实环境的立体视觉图像和声音信号；

S500最终将融合了现实环境与虚拟现实场景的立体图像和音频在显示屏中输出；

其中，所述利用立体视觉图像技术修正头部位置包括如下步骤：

S301自动复位头部定位模块，设定空间原点；

S302通过立体摄像机抓取实际环境中的目标特征点，同时复位虚拟空间坐标并将头部定位每秒计算并上传至立体图像编码模块；

所述立体摄像机抓取实际环境中的目标特征点具体为：立体摄像机以立体空间中的位置，在头部定位模块中的陀螺仪复位为原点的瞬间，根据立体画面选其实际环境中的特征点，并对这些特征目标标定空间位置坐标；

S303把实际环境中的目标特征点标定到虚拟空间坐标2，并根据头部运动变化位置而变化的画面特征点，计算每毫秒的头部位置并上传至立体图像编码模块；

S304立体图像编辑模块根据光学的数据定期修正头部定位与运动传感模块的电子陀螺仪及加速度计；

S305根据修正的数据进行复位虚拟空间坐标，重新定位计算每秒的头部位置并根据头部位置，在虚拟现实软件中生成新视角的立体图像。

2.如权利要求1所述的处理方法，其特征在于，还包括：

在建立立体的数字场景后，所述系统的红外摄像头捕捉手部的动作，手部图像识别模块进行手部动作的模式识别，同时操作虚拟数字场景中的模型。

3.如权利要求1所述的处理方法，其特征在于，捕捉手部的动作并进行肢体动作的模式识别具体为：红外摄像头捕捉手部动作，手部图像识别单元做模式识别，识别出手部的动作，然后以头部的位置为原点，建立空间的坐标系，计算出手的位置。

4.如权利要求1所述的处理方法，其特征在于，所述根据头部运动变化位置计算每毫秒的头部位置具体为：在头部运动中，目标特征在立体画面中发生的位置变化，不断的根据立体画面中同一目标特征在左右眼中的位置，计算目标特征相对双眼中心点的空间位置，得出精确的位置。

5.一种应用于权利要求1所述的交互式三维实景与数字图像高速融合处理方法的系统，适用于虚拟现实头盔，其特征在于，所述系统至少包括图像信号识别模块、头部定位与运动传感模块、液晶显示模块、立体图像编码模块以及应用处理器；

其中，所述图像信号识别模块包括连接立体摄像机和麦克风的立体空间识别单元，立体空间识别单元对现实环境的图像声音进行识别并上传至立体图像编码模块；

所述头部定位与运动传感模块用于获取头部运动的原始姿态信息；

所述立体图像编码模块连接于图像信号识别模块和头部定位与运动传感模块，用于将特征点数据进行预先存储和预测头部运动轨迹，并根据预测运动轨迹的特征点进行头部定位与运动传感模块的修正；

所述应用处理器连接立体图像编码模块和液晶显示模组，用于完成所有的虚拟图像和特征点所显示的图像在同一的空间坐标系的融合，并将处理后的图像显示在液晶显示模块中的显示屏上。

6.如权利要求5所述的系统，其特征在于，所述图像信号识别模块还包括手部图像识别单元，所述手部图像识别单元连接有2个红外摄像头，用于做模式识别手部动作，并以头部位置为原点，建立空间坐标系，计算出手的位置。

7.如权利要求5所述的系统，其特征在于，所述系统还包括低速与高速存储模块，所述低速与高速存储模块设于应用处理器和立体图像编码模块之间。

8.如权利要求5所述的系统，其特征在于，所述系统采用四口的Usb hub接口连接外部设备，其中两口设于图像信号识别模块，分别用于接入立体摄像机和麦克风、以及红外摄像头；一口设于液晶显示模组，用于接入显示屏，另一口设于头部定位与运动传感模块中，用于接入头部位置传感器。