[发明专利]一种结合环境映射和全局光照渲染的单镜头混合现实实现方法

说明书

本发明公开了一种结合环境映射和全局光照渲染的单镜头混合现实实现方法，包括对虚拟物体进行定位，并生成现实场景模型；对现实场景模型和虚拟物体进行体素化及过滤；环境贴图生成，将现实场景图像采用均匀分配方式切分，再进行翻转映射为环境贴图；锥追踪渲染，采用加入环境映射的锥追踪方式渲染输出成为合成图像。本发明能够利用GPU的强大图形计算能力，增强一般的混合现实系统的输出效果，能够在单镜头的条件下模拟光亮物体对周围环境的反映效果。

技术领域

本发明涉及混合现实实现方法，特别是涉及一种结合环境映射和全局光照渲染的单镜头混合现实实现方法。

背景技术

现今计算机在各个行业中都有着十分重要的作用，而人机交互接口的友好性便是一个很重要的课题。一个差的人机接口会很大程度上阻碍应用的被接受程度，即使这个应用有着很强的功能。随着发展，人机接口从命令行、到图形界面、再到多媒体界面，近几年则兴起了虚拟现实。混合现实(Mixed Reality,MR)则是表达虚拟和现实相融合的概念。MR综合了计算机图形、融合显示、多传感器等多门学科，对该技术的需求也在不断增长，很多行业都出现了对它的应用。

目前国内外关于混合现实还存在着有待解决的问题：

(1)具有真实感的混合现实效果需要达到光照一致性的要求，但是这一点仍有着许多难题，比如整体的环境光照信息无法通过普通单一摄像头获取，高质量光照渲染计算量要求大等。

(2)学术界提出了许多提高光照一致性的算法，但是这些算法往往复杂度比较高，运行比较耗时，很难应用到实时性要求高的场合，而且许多算法采用增添额外镜头或放置标志物的方式，通用性较低。

(3)学术界对混合现实的渲染方面基本采用原始的局部光照，渲染结果较为粗糙。而且全局光照技术较少能够达到实时效果，随着技术发展也出现了几种实时的全局光照技术，但是加上混合现实系统本身的计算需要，要能够达到实时性的要求也是待解决的问题。

发明内容

发明目的：针对现有技术的不足，提供一种结合环境映射和全局光照渲染的单镜头混合现实实现方法。

技术方案：本发明提供了一种结合环境映射和全局光照渲染的单镜头混合现实实现方法，相对于一般混合现实实现方法，利用体素锥追踪全局光照技术模拟出虚拟物体和真实背景光线交互效果，利用环境映射增强光亮物体对真实环境的反映效果。包括以下步骤：

(1)对相机图像还原生成现实场景模型，然后对虚拟物体进行定位

本发明对虚拟物体的定位采用还原现实场景模型从而放置虚拟物体的方法，从相机获取现实场景图像，估计现实场景中的平面，对平面进行平滑过滤，生成现实场景模型，将虚拟物体放置在平面中心；

(2)体素化及过滤

对步骤(1)中的现实场景模型和虚拟物体进行体素锥追踪准备操作，即创建包含delta体的层次体素结构，并对层次体素结构中的体素进行过滤；

将预先建立好的现实场景模型和虚拟物体进行体素化，在体素中存入从预先配置好的光源发出的辐射，将现实场景模型的几何特征在体素中作出近似表示，体素使用稀疏八叉树结构进行管理，该结构不存储那些没有被占用的体素从而节约存储空间。体素存储在显存中，避免将数据从内存传到GPU而导致的性能瓶颈。现实场景模型体素化之后进行过滤，将八叉树中存入的最底层体素自底向上逐层过滤，填满整个稀疏八叉树内的体素，对应后续的锥追踪渲染采样过程。

渲染混合现实场景时需要考虑到虚拟物体给现实场景模型带来的光照上的影响，因此会有三个由体素表示的辐射场，一个是在没有引入虚拟物体时的现实场景模型的辐射场，另一个是引入了虚拟物体时的辐射场，最后一个是从前两者中提取出的校正性的差值的辐射场即delta体，用来在后续的步骤中辅助现实场景模型在包含虚拟物体时的光照渲染。