[发明专利]交互式三维实景与数字图像高速融合处理系统及处理方法

摘要

本发明提供一种交互式三维实景与数字图像高速融合处理系统，至少包括图像信号识别模块、头部定位与运动传感模块、液晶显示模块、立体图像编码模块以及应用处理器；图像信号识别模块包括立体空间识别单元和手部图像识别单元，立体图像编码模块连接于图像信号识别模块和头部定位与运动传感模块，应用处理器连接立体图像编码模块和液晶显示模组，完成虚拟图像和特征点所显示的图像在同一空间坐标系的融合；此外还公开了运用该系统的处理方法。该系统和方法能在立体的虚拟现实数字环境中实时融合周边现实环境空间的视觉、听觉，可以实时观测自己的肢体动作，并让肢体动作可以完成操作数字世界的模型等互动。

主权项

1.一种交互式三维实景与数字图像高速融合处理方法，包括以下步骤，S100系统各模块初始化；S200计算机建立立体的数字场景；S300利用立体视觉图像技术修正头部位置，在虚拟现实软件中生成新视角的立体图像；S400高速混入现实环境的立体视觉图像和声音信号；S500最终将融合了现实环境与虚拟现实场景的立体图像和音频在显示屏中输出；其中，所述利用立体视觉图像技术修正头部位置包括如下步骤：S301自动复位头部定位模块，设定空间原点；S302通过立体摄像机抓取实际环境中的目标特征点，同时复位虚拟空间坐标并将头部定位每秒计算并上传至立体图像编码模块；所述立体摄像机抓取实际环境中的目标特征点具体为：立体摄像机以立体空间中的位置，在头部定位模块中的陀螺仪复位为原点的瞬间，根据立体画面选其实际环境中的特征点，并对这些特征目标标定空间位置坐标；S303把实际环境中的目标特征点标定到虚拟空间坐标2，并根据头部运动变化位置而变化的画面特征点，计算每毫秒的头部位置并上传至立体图像编码模块；S304立体图像编辑模块根据光学的数据定期修正头部定位与运动传感模块的电子陀螺仪及加速度计；S305根据修正的数据进行复位虚拟空间坐标，重新定位计算每秒的头部位置并根据头部位置，在虚拟现实软件中生成新视角的立体图像。