[发明专利]一种场景中存在镜面物体和透明物体的虚实融合方法

说明书

一种场景中存在镜面物体和透明物体的虚实融合方法属计算机虚拟现实技术领域，本发明首先使用RGB‑D相机拍摄存在镜面物体和透明物体的场景，识别出镜面物体与透明物体的位置，并对场景进行三维重建。在初始光源估计时考虑了物体之间的反射，并估计了镜面物体和透明物体的材质参数，利用估计出的光照结果和模型参数进行差分渲染，得到虚实融合效果图。本发明通过估计镜面物体BRDF模型参数、透明物体的折射率和颜色衰减系数，从而得到了更逼真的虚实融合效果，解决了场景中存在镜面物体与透明物体的虚实融合光照一致性问题。同时，本发明在估计光源位置时从光学原理出发，考虑了物体间的反射情况，得到了更加准确的光源位置。

技术领域

本发明属计算机虚拟现实技术领域，具体涉及一种场景中光源位置及强度、镜面物体的反射系数和透明物体折射率、颜色衰减系数的估计方法。

背景技术

增强现实技术是通过计算机把生成的虚拟物体与实际场景结合起来呈现在用户眼前，为了更加逼真的虚实融合效果，就需要使虚拟物体呈现出与实际场景一致的光照效果。光照一致性主要考虑的问题应该是场景中真实光源和真实物体对虚拟物体表面面片所造成的颜色和亮度变化。

现有的解决光照一致性虚实融合方法主要分为三类：借助辅助标志物方法、借助辅助设备方法和无需标志物或辅助设备的方法。其中辅助标志物为阴影和人工放置的标志物，通过标志物提供的信息来获得真实场景中的光照情况。辅助设备有深度相机、光场相机以及鱼眼相机等特殊拍摄设备能够提供深度、光场和全视角图像等信息，为光照估计提供了新的解决方案。无需标志物或辅助设备的方法通过图像分析的方式来获取场景中光照信息。

现有的光照估计方法考虑的仅仅是场景中真实光源或场景中真实物体的阴影对虚拟物体表面面片所造成的变化，对于实际场景中的镜面物体和透明物体产生的焦散光斑对虚拟物体的影响却没有考虑。

发明内容

本发明的目的是针对现有方法的不足，提出一种适用于场景中存在镜面物体和透明物体的光照一致性虚实融合方法，解决了实际场景中镜面物体和透明物体的焦散现象对虚拟物体的影响，本方法所采用的技术方案是：

1.1使用RGB-D相机拍摄存在镜面物体和透明物体的场景，得到不同视角深度图像和彩色图像；对场景进行三维重建，并得到镜面物体和透明物体的三维模型位置，包括下列步骤：

1.1.1采用KinectFusion算法对不同视角的深度图像进行三维重建，得到截断符号距离函数(TSDF)模型和相机姿态；

1.1.2使用不同视角的深度图像，识别出镜面物体和透明物体的大致区域，将该区域作为初始位置，结合图像分割算法把镜面物体和透明物体从彩色图像中分别分割出来，采用可视外壳方法对镜面物体和透明物体进行三维重建；

1.1.3 TSDF模型与镜面物体和透明物体模型进行融合；

1.2初始光源位置和强度估计：

初始光源估计不考虑镜面物体和透明物体模型，剩余模型材质都假设为朗伯表面，反射系数取值为1；k个点光源均匀分布在以场景物体为中心的半球面上，半球面的直径为刚好包围场景的半球面的直径的2倍；每个点光源发射q个不同方向的光子到场景中，具体估计方法包括下列步骤：

1.2.1计算从第j个点光源发射的每个光子能量：

其中：ΔΦ(ω_p)为每个光子所携带的能量，I_j为第j个点光源的强度值；

1.2.2分别追踪k个点光源发射的光子并将碰撞点坐标、入射光子能量和入射光子方向存入k个光子图中；

1.2.3计算任一视角下点x的反射辐射亮度L_r(x)：