[发明专利]一种结合环境映射和全局光照渲染的单镜头混合现实实现方法

权利要求书

1.一种结合环境映射和全局光照渲染的单镜头混合现实实现方法，其特征在于，包括以下步骤：

(1)对相机图像还原生成现实场景模型，然后对虚拟物体进行定位

对虚拟物体的定位采用还原现实场景模型从而放置虚拟物体的方法，从相机获取现实场景图像，估计现实场景中的平面，对平面进行平滑过滤，生成现实场景模型，将虚拟物体放置在平面中心；

(2)体素化及过滤

对步骤(1)中的现实场景模型和虚拟物体进行体素锥追踪准备操作，即创建包含delta体的层次体素结构，并对层次体素结构中的体素进行过滤；

(3)环境贴图生成，将现实场景图像采用均匀分配方式切分，再进行翻转映射为环境贴图；

光照数据采用格式为RGBA16的立方贴图来存储，环境贴图生成步骤为：

(31)对于+x、-x方向的面，将划分后的图像的左右两侧区域映射到面上；

(32)对于+y、-y方向的面，将划分后的图像的上下两侧区域映射到面上；

(33)对于-z方向的面，将图像中心区域映射；

(34)对于+z方向的面，将图像中心区域翻转映射；

(4)锥追踪渲染

利用步骤(1)-步骤(3)得到的数据，采用加入环境映射的锥追踪方式渲染输出成为合成图像；具体为：对于虚拟物体表面上的每个点，利用生成的层次体素结构用锥追踪获取体素内的光照和几何数据，从而模拟间接光照的效果；对于光照的高光反射部分向视线在虚拟物体表面的反射方向射出一个较窄的锥，对于漫反射部分向表面反射半球各方向均匀射出多个较宽的锥，以覆盖整个半球范围；而获取环境映射就基于锥追踪的方式，从各个锥中心射出射线采样之前生成好的环境贴图，利用锥追踪获取的遮蔽值对返回颜色加权处理；采用mipmap技术将环境贴图生成多级纹理，结合采样锥孔径大小对环境映射采样进行层级选择，达到近似用锥对环境贴图进行范围采样的效果；现实场景模型和虚拟物体进行区分渲染，现实场景模型表面从delta体中用锥追踪获取间接光照，虚拟物体则直接从重构的体素中获取光照，从而达到现实场景模型能够在现实场景图像的基础上渲染引入虚拟物体所产生的反射和倒影效果。

2.根据权利要求1所述的一种结合环境映射和全局光照渲染的单镜头混合现实实现方法，其特征在于，所述步骤(1)具体为：通过采样或者生成的深度信息，将现实场景图像中的像素还原成点云，再对点云进行法线估计，生成各个点的法线；然后计算每个点的K近邻，通过它们的法线方向检查它们是否属于同一个平面，从而估计出属于平面区域的点；最后提取出平面上的点，先估计出最可能的平面，将点向平面方向移动，再连接这些点还原出平面的网格模型，并将该网格模型作为现实场景模型；其中，深度信息代表像素点相对相机距离。

3.根据权利要求1所述的一种结合环境映射和全局光照渲染的单镜头混合现实实现方法，其特征在于，所述步骤(2)具体为：现实场景模型和虚拟物体首先被体素化成存储表面法线的体V_η，而delta体V_Δ用切分注入方法初始化；光源生成两个反射阴影贴图RSM，一个是来自现实场景模型的RSM，用R_ρ表示，另一个则是在现实场景模型中增加了一个虚拟物体的RSM，用R_μ表示；其中，切分注入方法就是对每个RSM像素首先判断是属于现实场景模型还是属于虚拟物体，属于现实场景模型的像素保持不变，属于虚拟物体的像素就将从不包含虚拟物体的R_ρ中创建的虚拟点光源VPL和包含虚拟物体的R_μ中的负虚拟点光源VPL存入对应位置的体素；得到两个体V_ρ和V_μ中体素的差值为V_Δ＝V_ρ-V_μ，其中V_ρ存储由R_ρ生成的VPL，V_μ存储由R_μ生成的VPL，V_Δ为delta体；

前面体素化的值都是存储在最底层的层次体素结构中，而层次体素结构中上层的体素就需要从底层体素过滤填充而得；对于k层的八叉树需要进行k-1步过滤填充，每步中平均上一层的子节点中的值存到当前层中。

4.根据权利要求1所述的一种结合环境映射和全局光照渲染的单镜头混合现实实现方法，其特征在于，所述光照包括以下步骤：

(41)直接重光照

从现实场景模型表面点p向着光源方向投射一个阴影锥，使用阴影锥操作C_s计算沿着锥的遮蔽，锥的孔径γ则由光源的范围来决定；为了给阴影计算正确的反辐射量，遮蔽系数会乘上入射光源L_γ本该产生的能量的负数，这个值通过双向反射分布方程BRDFf_γ来预计：

其中，T_Δ表示加在现实场景图像上的反辐射；表示摄像机方向，表示该点法线方向；表示点乘这两个向量并且取大于0的值；

(42)间接光照

其中，表示现实场景模型表面间接光照采样结果，C_Δ表示锥追踪算子，从delta体V_Δ中收集辐射，V表示体素体，σ表示漫反射锥孔径大小，β表示高光反射锥孔径大小；f_γ是双向反射分布方程，表示光源方向，表示摄像机方向，表示视角反射方向，表示该点法线方向；表示点乘其中两个向量并且取大于0的值；

(43)虚拟对象光照

虚拟对象需要同时从体素中和环境贴图中获得光照：

其中，T_ρ表示虚拟对象表面直接光照结果，L_γ表示直接光源光照值，表示光源方向，f_γ是双向反射分布方程，表示摄像机方向；表示虚拟对象表面间接光采样结果，V表示体素体，σ表示漫反射锥孔径大小，β是高光反射孔径大小，表示视角反射方向，表示该点法线方向，表示点乘其中两个向量并且取大于0的值；C'_ρ表示修改的锥追踪方法，C_ρ表示锥追踪算子，从体V_ρ中收集辐射；对于高光反射部分：是进行C_ρ锥追踪操作后累积结束的遮蔽值，I_env是从环境贴图获取的光照值，β_env表示高光锥的环境贴图采样层级；对于漫反射部分：σ_env表示漫反射锥的环境贴图采样层级。