[发明专利]一种基于RGBD全景视频的交互式的全景空间光线跟踪方法

说明书

本发明基于RGBD全景视频提出了一个交互式的全景空间光线跟踪方法。该方法能够在将虚拟物体插入360°RGBD全景视频时实时渲染照片般逼真的照明和阴影效果。首先，使用全景深度缓冲区和屏幕空间深度缓冲区来近似真实场景的几何形状。然后，提出了一种稀疏采样射线生成方法，通过减少射线追踪中需要发射的射线数量来加速追踪过程。在此之后，通过入射辐射度估计算法以生成嘈杂的蒙特卡罗图像。最后，通过插值、时空滤波和差分渲染对最终结果进行平滑处理。结果表明，本发明方法可以实时为360°RGBD视频中的虚拟物体生成视觉上逼真的帧，使混合现实渲染结果更加自然和可信。

技术领域

本发明涉及一种基于RGBD全景视频的交互式的全景空间光线跟踪方法，属于计算机图形学、混合现实虚实融合实时渲染技术领域。

背景技术

在混合现实应用中，将虚拟物体以照片般逼真的方式插入自然世界环境具有挑战性。问题之一是很难捕捉整个环境的光照、几何和材质信息。缺少的自然环境信息往往会导致一些人工照明或几何假设，最终不一致。另一个问题是，在模拟虚拟物体与自然环境光照的交互时，往往会进行一些近似处理，以满足混合现实应用对帧率的高要求。但是，会丢失一些细节，例如表面阴影、空间变化的照明等。

使用一般的头戴式AR设备，可以在前置摄像头的狭窄视野内捕获包括照明和几何形状在内的真实环境信息。在视野外没有环境信息的情况下，许多研究人员专注于模拟虚拟物体与捕捉到的自然环境部分之间的光影交互。一种方法试图用差分辐照缓存模拟虚拟世界和现实世界之间的光传输。另一种方法将附加光源附加到目标场景区域，使用Kinect相机和几何处理方法来模拟虚拟物体和现实世界之间的辐射传递。两种方法都只捕捉环境的一部分，并假设外部视野定向照明条件。它们无法模拟虚拟物体与外部环境几何图形之间的交互。

还有一些方法选择估计外部视野环境信息以获得完整的真实世界环境照明和几何信息。其中一个假设室内场景是一个六面立方体，并计算了外部视野光源来照亮插入的虚拟物体。另一项工作使用CNN网络估计具有单个RGBD图像的多尺度体积场景照明，并使用球形体积跟踪方法渲染虚拟物体。两种方法都输出空间变化的真实合并结果，但仍然存在一些问题。一是现实世界与估计的外部环境之间可能存在很大差异。另一个原因是，当虚拟物体与单个RGBD图像中的深度间隙之间的交互时，可能会出现一些伪影，例如颜色拉伸和反射缺失。

发明内容

本发明解决的技术问题是：克服现有技术的不足，提供一种基于RGBD全景视频的交互式的全景空间光线跟踪方法，一个新颖的混合现实实时交互式虚实融合渲染，能够利用输入场景的360°RGBD视频、用户视角信息和虚拟物体位置、朝向、材质等信息，模拟虚拟物体在真实场景中虚实之间光影的自然交互，实时的生成自然、逼真的交互式混合场景图像。

为了能够解决上述问题，提出了一种基于RGBD全景视频的交互式的全景空间光线跟踪方法，该方法能够支持多种虚拟物体材料的空间变化全局照明，包括漫反射、光泽和镜面反射，允许动态虚拟物体和改变现实世界的几何形状。本发明的方法通过提供集成场景的照片般逼真的一致外观来显着提高用户的真实感和存在感。

本发明采用的技术方案如图3所示，包括步骤：

步骤1：输入RGBD全景视频当前帧的全景图像、用户视角和待插入虚拟物体的信息，生成当前视角下屏幕空间几何缓冲区和全景图像空间几何缓冲区，缓冲区中存储屏幕空间和全景图像空间下虚拟物体模板函数图像、位置图像和法线图像，同时，对RGBD全景图像中的深度通道进行处理，生成对应的分级细化深度纹理图(MIPMAPS)；

步骤2：基于步骤1中用户当前视角下的屏幕空间内几何缓冲区中位置和法线图像中逐像素的位置、法线信息，生成对应的多尺度结构化稀疏采样模板缓存，采用一种稀疏跟踪加速算法，实现进一步加速渲染；