[发明专利]交互式三维实景与数字图像高速融合处理系统及处理方法

说明书

本发明提供一种交互式三维实景与数字图像高速融合处理系统，至少包括图像信号识别模块、头部定位与运动传感模块、液晶显示模块、立体图像编码模块以及应用处理器；图像信号识别模块包括立体空间识别单元和手部图像识别单元，立体图像编码模块连接于图像信号识别模块和头部定位与运动传感模块，应用处理器连接立体图像编码模块和液晶显示模组，完成虚拟图像和特征点所显示的图像在同一空间坐标系的融合；此外还公开了运用该系统的处理方法。该系统和方法能在立体的虚拟现实数字环境中实时融合周边现实环境空间的视觉、听觉，可以实时观测自己的肢体动作，并让肢体动作可以完成操作数字世界的模型等互动。

技术领域

本发明属于虚拟现实领域技术，具体涉及一种交互式三维实景与数字图像高速融合处理系统及该系统的处理方法。

背景技术

虚拟现实是多种技术的综合，包括实时三维计算机图形技术，广角(宽视野)立体显示技术，对观察者头、眼和手的跟踪技术，以及触觉/力觉反馈、立体声、网络传输、语音输入输出技术等。随着虚拟现实的显示技术和模式识别的技术发展，体验者可以将现实世界的实际环境视觉和听觉由立体摄像机导入到数字世界中，并通过立体的头戴显示器让人的视觉神经产生出虚拟现实的数字世界。

专利号为201310678103.9的专利申请文件公开了一种沉浸式虚拟现实体验系统，包括视频输出模块、语音模块以及3D沉浸式眼镜，视频输出模块和3D眼镜有线或无线连接，3D眼镜包括控制芯片模块、控制芯片模块分别连接的陀螺仪模块、视频获取模块，把图像显示在可穿戴设备的显示屏上，这样图像可以充满用户的整个视野，使得客户有身在虚拟场景的真实感。同时通过设备内置的陀螺仪和加速计等传感实现头部追踪技术，可以根据现实中用户头部方向变化来计算用户的在现实中的视线角度，显示对应的图像，进一步增强真实性。

但是，不管是上述专利还是目前技术的发展，还没有有机的把现实世界和虚拟现实的数字世界结合起来，不能在立体的视觉体验中，精确无差别地融合现实世界和虚拟现实的数字世界，从而严重影响使用体验，阻碍技术广泛应用于生活。目前的问题主要体现在：

1、无法实时并同时立体观测和操作现实环境和虚拟数字空间，现在的头戴显示器采用的是电子陀螺仪和电子加速度计，它们在使用中都有漂移，导入到虚拟空间软件中计算，就会产生眼部看到的位置产生误差，再叠加上最后在虚拟空间的画面输出到液晶屏上，又会有100毫秒左右的延迟，那么，由于两者空间位置不匹配，人的视觉画面有偏差和延迟，容易造成眩晕；

2、受头戴显示器的遮挡，人不方便看到真实世界的输入装置或者肢体动作，需要让人们的视觉神经集中注意力在头戴显示器显示的画面上，无法正常观察身边的实景环境会给人带来“看不见”的感觉，产生不安全和不舒适的体验；

3、人们在日常的使用习惯中，肢体动作完成的功能，无法正常交互到虚拟的数字视觉中；

4、系统复杂，需要显示、拍摄以及处理等多个系统，系统复杂，成本高昂，便携性不好。

发明内容

本发明要解决的技术问题为提供一种交互式三维实景与数字图像高速融合处理系统及系统的处理方法，该系统和方法能在立体的虚拟现实数字环境中实时融合周边现实环境空间的视觉、听觉，可以实时观测自己的肢体动作，并让肢体动作可以完成操作数字世界的模型等互动。

为解决上述技术问题，本发明包括以下的技术方案：

一种交互式三维实景与数字图像高速融合处理系统，适用于虚拟现实头盔，该系统至少包括图像信号识别模块、头部定位与运动传感模块、液晶显示模块、立体图像编码模块以及应用处理器；

其中，图像信号识别模块包括连接立体摄像机和麦克风的立体空间识别单元，立体空间识别单元对现实环境的图像声音进行识别并上传至立体图像编码模块；

头部定位与运动传感模块用于获取头部运动的原始姿态信息；