[发明专利]一种基于RGBD全景视频的交互式的全景空间光线跟踪方法

权利要求书

1.一种基于RGBD全景视频的交互式的全景空间光线跟踪方法，其特征在于，包括步骤如下：

步骤1：输入RGBD全景视频当前帧的全景图像、用户视角和待插入虚拟物体的信息，生成当前视角下屏幕空间几何缓冲区和全景图像空间几何缓冲区，缓冲区中存储屏幕空间和全景图像空间下虚拟物体模板函数图像、位置图像和法线图像，同时，对RGBD全景图像中的深度通道进行处理，生成对应的分级细化深度纹理图MIPMAPS；

步骤2：基于步骤1中用户当前视角下的屏幕空间内几何缓冲区中位置和法线图像中逐像素的位置、法线信息，生成对应的多尺度结构化稀疏采样模板缓存，采用一种稀疏跟踪加速算法，实现进一步加速渲染；

步骤3：采用一种背面感知的光线追踪算法，对步骤1中生成当前视角下屏幕空间几何缓冲区和全景图像空间几何缓冲区中的图像进行光线追踪，光线追踪时发射的光线密度分布通过步骤2中的多尺度结构化稀疏采样模板缓存进行控制，计算光线与三维几何的相交点，模拟虚拟物体和现实世界几何之间的双向交互，得到当前场景嘈杂的蒙特卡洛入射辐射度图像；

步骤4：对步骤3中得到的当前场景嘈杂的蒙特卡洛入射辐射度图像，利用步骤2中生成的多尺度结构化稀疏采样模板缓存中的采样点进行插值，生成致密的入射辐射度图像；

步骤5：使用联合双边空间滤波器来对步骤4中的致密的入射辐射度图像进行时空滤波去噪，然后在时间域内通过屏幕空间内运动向量对空间滤波结果进行时间滤波，得到重建的加入虚拟物体前后当前视角下场景的蒙特卡洛入射辐射度图像；

步骤6：利用步骤5重建的加入虚拟物体前后当前视角下场景的蒙特卡洛入射辐射度图像，结合步骤1中的屏幕空间几何缓冲区的数据，利用差分渲染方法，渲染得到用户当前视角下虚拟物体和现实世界的虚实融合结果图像。

2.根据权利要求1所述的基于RGBD全景视频的交互式的全景空间光线跟踪方法，其特征在于：所述步骤3中：背面感知的光线追踪算法具体实现如下：

(1)通过多尺度结构化稀疏采样模板缓存的控制对图像空间几何缓冲区和全景图像空间几何缓冲区进行光线跟踪时，为了防止屏幕空间几何缓冲区中的图像存在的深度间隙点导致错误高光或拉伸伪影的出现，每跟踪到一个光线和屏幕空间几何缓冲区中的图像相交像素点时，检测该像素点是否属于深度间隙点；

(2)如果检测的像素属于深度间隙点，从该像素所在三维表面的背面出发并进行采样，选取几何上相关的替代点作为真正的相交点，替代点的采样遵循原则如下：替代点应与光线、视线、原始相交像素点三维上处于同一平面；替代点到原始相交像素点的距离应等于符合物理限制；

(3)最终，通过这样的背面感知的光线追踪算法，计算出各个光线对应像素的辐射度值，从而实现模拟物体和现实世界几何之间的双向交互，最终得到当前场景嘈杂的蒙特卡洛入射辐射度图像。

3.根据权利要求1所述的基于RGBD全景视频的交互式的全景空间光线跟踪方法，其特征在于：所述步骤2中，稀疏跟踪加速算法具体实现如下：

稀疏跟踪加速是生成一个多尺度结构化稀疏采样模板缓存来控制是否跟踪特定像素的光线；对于屏幕空间中的每个像素，其邻域像素的位置和法线分布以及是否与虚拟物体相交决定是否跟踪光线，结果跟踪权重缓冲区的计算方法描述如下：

其中，p是当前屏幕空间图像中任意一个像素，q是p的邻域Ω中相邻像素；在实践中，将Ω设置为5×5像素范围，是p的邻域；对于帧i，d_i(p)是在虚拟物体模板函数图像中计算的二进制参数，用于表明像素p是否已被最近几帧中的虚拟物体照亮，n_p和pos_p代表p的法线和位置，n_q和pos_q代表q的法线和位置；σ_p是手动设置的归一化参数，当计算完屏幕空间图像中的所有像素之后，得到跟踪权重缓冲区；

由式(1)，得到跟踪权重缓冲区，然后通过两个人工设置阈值δ₁和δ₂，0δ₁δ₂1，将跟踪权重缓冲区中的像素分成三个区域；对于任意一个像素p，将p的跟踪级别l_p记录如下：

w_p是p像素点计算得到的跟踪权重，0,1,2是跟踪级别的具体值，标志p像素的跟踪级别，在实践中，将δ₁设置为0.3，将δ₂设置为0.5；为了使稀疏跟踪加速算法适合GPU，将屏幕空间图像构造成一个多尺度的网格，即多尺度结构化稀疏采样模板缓存，并根据多尺度网格所属的区域在这些区域发射不同密度的追踪光线。