[发明专利]一种场景中存在镜面物体和透明物体的虚实融合方法

摘要

一种场景中存在镜面物体和透明物体的虚实融合方法属计算机虚拟现实技术领域，本发明首先使用RGB‑D相机拍摄存在镜面物体和透明物体的场景，识别出镜面物体与透明物体的位置，并对场景进行三维重建。在初始光源估计时考虑了物体之间的反射，并估计了镜面物体和透明物体的材质参数，利用估计出的光照结果和模型参数进行差分渲染，得到虚实融合效果图。本发明通过估计镜面物体BRDF模型参数、透明物体的折射率和颜色衰减系数，从而得到了更逼真的虚实融合效果，解决了场景中存在镜面物体与透明物体的虚实融合光照一致性问题。同时，本发明在估计光源位置时从光学原理出发，考虑了物体间的反射情况，得到了更加准确的光源位置。

主权项

1.一种场景中存在镜面物体和透明物体的虚实融合方法，其特征在于包括下列步骤：1.1使用RGB‑D相机拍摄存在镜面物体和透明物体的场景，得到不同视角深度图像和彩色图像；对场景进行三维重建，并得到镜面物体和透明物体的三维模型位置，包括下列步骤：1.1.1采用KinectFusion算法对不同视角的深度图像进行三维重建，得到截断符号距离函数(TSDF)模型和相机姿态；1.1.2使用不同视角的深度图像，识别出镜面物体和透明物体的大致区域，将该区域作为初始位置，结合图像分割算法把镜面物体和透明物体从彩色图像中分别分割出来，采用可视外壳方法对镜面物体和透明物体进行三维重建；1.1.3 TSDF模型与镜面物体和透明物体模型进行融合；1.2初始光源位置和强度估计：初始光源估计不考虑镜面物体和透明物体模型，剩余模型材质都假设为朗伯表面，反射系数取值为1；k个点光源均匀分布在以场景物体为中心的半球面上，半球面的直径为刚好包围场景的半球面的直径的2倍；每个点光源发射q个不同方向的光子到场景中，具体估计方法包括下列步骤：1.2.1计算从第j个点光源发射的每个光子能量：其中：ΔΦ(ω_p)为每个光子所携带的能量，I_j为第j个点光源的强度值；1.2.2分别追踪k个点光源发射的光子并将碰撞点坐标、入射光子能量和入射光子方向存入k个光子图中；1.2.3计算任一视角下点x的反射辐射亮度L_r(x)：其中：n为利用步骤1.2.2中得到的光子图在点x附近收集的光子数量；d(x)为点x与收集到的n个光子中最远光子的距离；1.2.4将步骤1.2.1中求出的第j个点光源发射的每个光子的能量，代入步骤1.2.3中点x的反射辐射亮度公式，得到第j个点光源在点x反射辐射亮度L_rj(x)：其中：d_j(x)为利用第j个光子图在第j个点光源下点x与收集到的n个光子中最远光子的距离；1.2.5将步骤1.1中采集到的不同视角的彩色图像转换为灰度图像；1.2.6将灰度图像的灰度值与步骤1.2.4的反射辐射亮度L_rj(x)组成目标函数：其中：m为参与计算的灰度图像数量；S_i(x)为第i幅灰度图像在点x处的像素灰度值；d_ji(x)是第j个点光源下第i幅灰度图像中点x与收集到的n个光子中最远光子的距离；k是半球上点光源数量；使用非负线性最小二乘法求解目标函数，使E_i(x)最小，得到I₁,I₂,...I_j...I_k；1.2.7光源估计结果I₁,I₂，...I_j...I_k的优化包括下列步骤：1.2.7.1在I₁,I₂，...I_j...I_k中选出强度值最大的光源L₁，将与L₁相邻的非零强度值光源的强度加到L₁光源的强度值a₁上，将L₁和a₁添加到光照估计结果集合中；1.2.7.2若剩余光源中强度值都为0时，优化结束，输出光照估计结果集合；1.2.7.3若剩余光源中存在强度值不为0的光源，在剩余光源中选出强度值最大的光源L_m，将与L_m相邻的非零强度值光源的强度加到L_m光源的强度值a_m上；将L_m和a_m添加到光照估计结果集合中；1.2.7.4若a_m<0.5a₁，优化结束，输出光照估计结果集合；1.2.7.5若a_m≥0.5a₁，将L_m和a_m添加到光照估计结果集合中，转到步骤1.2.7.2；1.3对步骤1.1.2中得到的镜面物体和透明物体模型进行区分，包括下列步骤：1.3.1选取一个步骤1.1.2中生成的模型，并假设为朗伯表面，反射系数取为1，使用估计出的光照估计结果集合中光源位置及强度，对其在不同视角下进行渲染，得到不同视角下该物体的灰度值和，分别为：b₁，b₂，...b_h，其中h为参与计算的不同视角数目；再将模型假设为透明物体，折射率取值为1.2，使用估计出的光照估计结果集合中光源位置及强度，对其在相同的h个视角下进行渲染，得到不同视角下该物体的灰度值和，分别为：t₁，t₂，...t_h；若则物体为镜面物h体，其中c_i为第i个视角下物体在步骤1.2.5生成的灰度图像上对应像素点灰度值的和；若则物体为透明物体；1.4光源位置优化和镜面物体的各向同性沃德双向反射分布函数(Ward BRDF)参数估计,包括下列步骤：1.4.1在半球面上对估计出的每个光源位置附近区域进行采样，每个光源附近采样点个数为g，每个采样点作为一个采样点光源，采样点光源强度值都为步骤1.2.7中光照估计结果集合中对应的光源强度值；1.4.2在光照估计结果集合中的每个光源对应的每个采样点光源下，镜面物体上点x的反射辐射亮度为：其中：s为光照估计结果集合中光源的个数；I为光源强度值；i为点光源到点x方向的向量；为第d个点光源到点x方向的向量与点x所在平面的法线之间的夹角；f(ρ_d,ρ_s,σ)为各向同性Ward BRDF模型，其表达式为：其中：o为视线方向的向量；h为向量i和o之间的半角向量(h＝(i+o)/|i+o|),和分别为视线方向的向量和半角向量与点x所在平面的法线之间的夹角；ρ_d为漫反射的反射率；ρ_s为镜面反射的反射率；σ为粗糙度参数；使用分支定界法和二阶锥规划来解决优化问题：得出最优解时对应的ρ_d、ρ_s、σ和e；其中：M为将步骤1.2.5中得到的灰度图对应的镜面物体的像素值组成的列向量M＝[M₁ M₂ ... M_N]^T；为镜面物体在不同点处反射辐射亮度组成的列向量1.4.3对光照估计结果集合中的s个光源和对应每个光源附近的g个采样点光源，分别使用步骤1.4.2的方法对镜面物体WardBRDF模型参数进行估计，得到(g+1)^s组ρ_d、ρ_s、σ和e的值；e值最小时对应的光源位置及ρ_d、ρ_s和σ为优化后的光源位置和镜面物体WardBRDF模型参数估计值；1.5透明物体的折射率和颜色衰减系数估计，包括下列步骤：1.5.1使用步骤1.4.3中优化后的光源位置及强度，对透明物体渲染，使用光子映射的渲染方式，场景中只改变透明物体折射率；折射率从1.2变化到2，以人眼能够识别出透明物体焦散效果改变的最小的折射率变化0.01为步长增加，计算出不同折射率下对应的场景灰度值的和z₁，z₂，...z₈₀；估计折射率的计算公式为：s.t.i＝1,2,...80其中：μ为步骤1.2.5中得到的灰度图对应像素值的和，计算出的i值对应的折射率为透明物体折射率；1.5.2透明物体颜色衰减系数σ_r、σ_g和σ_b的计算公式为：其中：σ_r、σ_g和σ_b分别为红、绿、蓝通道衰减系数；H为参与计算的像素点总数；d_i为光线的传输距离；和分别是在d_i＝0时，使用步骤1.5.1中估计出的折射率和步骤1.4.3中估计出的光源位置及强度对透明物体进行渲染得到的红、绿、蓝通道灰度值；r_i、g_i和b_i分别为拍摄的彩色图像的红、绿、蓝通道灰度值；1.6使用估计出的光照结果和模型参数进行差分渲染，得到虚实融合效果图。