[发明专利]一种基于多幅视角图像的光照估计方法

摘要

一种基于多幅视角图像的光照估计方法属计算机图像处理技术领域，本发明先云重建多幅视角图像三维点，视角图像若存在镜面反射高光点，则计算得到光源数目q，将不包含高光点图像进行本征图像分解，求解照射图灰度值和Lambert模型组成的超定方程组，得到光源数目y，若q＝y直接求解超定方程组得到光源位置和强度，否则在已知部分光源位置下求解超定方程组得到光源位置及强度，当每幅视角图像中都不存在高光点时，进行本征图像分解，求解超定方程组得到光源位置及强度。本发明解决了场景同时存在镜面反射和漫反射的问题，不需任何辅助标志物或设备，对根据镜面高光点不能检测出的光源，仍能估计出准确光源位置，得到满意的虚实融合效果。

主权项

1.一种基于多幅视角图像的光照估计方法，其特征在于包括下列步骤：1.1 对同一相机不同视角所摄的多幅视角图像，进行三维点云重建，恢复场景中物体的遮挡关系、表面法线和不同视角的相机参数；1.2 检测每幅视角图像中是否存在镜面反射高光点，并计算高光点对应的光线入射方向，包括下列步骤：1.2.1 检测每幅视角图像中是否存在高光点的公式为：其中：R、G、B分别代表彩色图像每个像素点的红、绿、蓝灰度值；m为图像最大灰度值；Th为阈值，Th≥0.8；1.2.2 计算所有高光点对应的光线入射方向L，其计算公式为：L＝2·(V·M)·M‑V其中：V为不同视角图像对应的相机坐标系下光轴方向，M为高光点像素集中的像素点映射到三维点云的法线方向；1.3 估计光照位置及强度值：假设光源均匀分布在以场景物体为中心的半球面上，且方向指向球心，估计光照位置及强度值时，分为同时存在镜面反射与漫反射的场景、只存在漫反射的场景,具体为：1.3.1 当场景同时存在镜面反射与漫反射，估计光照位置及强度值包括下列步骤：1.3.1.1 计算步骤1.2.2得到的所有高光点对应的光线入射方向与半球面上均匀分布的所有光源方向之间的夹角；对每个高光点选取其对应的光线入射方向与半球面上均匀分布的所有光源方向之间的夹角的最小值，将该最小值对应的半球面上光源方向，作为对应该高光点的光线入射方向，并称之为高光点半球化光源入射方向；将位置相邻的高光点半球化光源，聚集为一个待选光源集合；待选光源集合的个数设为x；1.3.1.2 筛选出所有待选光源集合中出现次数最多的高光点半球化光源，作为镜面高光点得到的光源；1.3.1.3 将多幅视角图像中不包含高光点的图像进行本征图像分解，得到表征光照信息的照射图；1.3.1.4 步骤1.3.1.3的照射图，由不包含高光点的图像分解得到，排除了镜面反射情况，故选取Lambert漫反射模型公式：其中：I为位置x处的光强值；I_a为环境光强；N为分布在半球面上总的光源数量；为分布在半球面上以方向ω_i入射的光源强度，n为场景中物体表面法线；V为以ω_i方向入射的光源在位置x处的是否可见项，可见则V为1，反之V为0；将不同视角下的照射图灰度值，与Lambert漫反射模型公式联立，组成超定方程组：其中：S为照射图灰度值；p为参与计算的不同视角下照射图总像素点数；ωi为光源入射方向；n为场景中物体表面法线；x为场景中的位置；V为以ωi方向入射的光源在位置x处是否可见的可见项，可见则V取1，反之V为0；N为半球面上总的光源数目；Ia为环境光强；Ii为分布在半球面上光源的强度值；通常p远大于N；求解上述超定方程组得到Ia、I1...IN的值；1.3.1.5 从I1到IN中筛选出强度值不为0的光源，记录这些光源的位置和强度值；1.3.1.6 将位置相邻的光源，聚集为一个待选光源集合；将此时的待选光源集合个数设为y；对每一个待选光源集合进行光源强度和方向的筛选，由于环境光的存在，渲染时较弱光源对结果几乎没有影响，因此，选取待选光源集合中强度值最大的光源，作为该待选光源集合的光源；1.3.1.7 比较x与y，当x＝y，则直接选取步骤1.3.1.2中由镜面高光点得到的光源，代入步骤1.3.1.4的超定方程组并求解，得到环境光和光源强度值；当x<y，则排除x个由镜面高光点得到的光源，从半球面上剩余的N‑x个光源中，随机选取y‑x个光源进行超定方程组求解，共需求解次，比较每次结果的均方误差，均方误差最小时的超定方程组的解，即为环境光的强度、光源的方向和强度值；1.3.2 当场景只存在漫反射，只需执行步骤1.3.1.3‑1.3.1.6，即可得到环境光的强度、光源的方向和强度值。