[发明专利]一种虚实融合场景下的光照一致性定量评价方法

说明书

本发明提供了一种虚实融合场景下的光照一致性定量评价方法，构建真实场景，然后构建并统一真实世界与虚拟世界的坐标系；然后分别拍摄真实场景图像和根据阴影进行光照估计，这时根据阴影进行光照估计的结果，计算真实光源和虚拟光源之间的角度误差，然后移除真实场景的长方体，生成同属性虚拟长方体，估计位置处生成虚拟光源，渲染对应阴影；然后根据经渲染后产生的对应阴影和拍摄出的真实场景图像，拍摄虚实融合场景图像，对虚实融合场景图像进行阴影分隔后，计算阴影图像重合度。该方法可在单一光源下对虚实融合场景下的光照一致性进行客观的定量评价。

技术领域

本发明属于虚实融合场景领域，更具体地讲，涉及一种虚实融合场景下的光照一致性定量评价方法。

背景技术

增强现实是现今计算机图形学和计算机视觉等领域的研究热点，其应用场景广泛，经常应用于维修装配、医疗、军事、建筑设计和生活娱乐等方面。增强现实技术将虚拟对象渲染到真实场景中来生成虚实融合的场景，以此向用户提供沉浸感。自然的虚实融合场景是用户在场景中获得真实感的关键。

在与增强现实相关的研究中，对光照一致性问题的研究较少，处于发展初始阶段。光照一致性反映了虚实融合时虚拟对象与真实场景之间的明暗、阴影等光照匹配关系，从而保证用户在增强现实场景中的沉浸感不受影响。

实现光照一致性的关键在于如何进行精确的光照估计。目前相关的研究包括以下四类：

（1）基于标志物的阴影估计光照：分析立方体标志和实物阴影，检测出阴影边缘，利用空间几何推算点光源的位置；

（2）基于标志物表面图像估计光照的方法：从标定球上分离出漫反射和高光，其中高光用于估计光源的位置，漫反射用于估计光源的强度；

（3）借助辅助设备估计光照：使用深度相机实时创建HDR环境贴图，并使用聚类算法从环境贴图中提取点光源位置；

（4）基于深度学习进行光照估计：使用大量图像或视频数据驱动，训练深度网络来估计光源。

对增强现实场景中光照一致性方面的现有研究大部分在相对固定的环境下，采取一定的方法获取真实场景中的光源位置和光照方向，进而对融合后的虚拟物体进行渲染，获得和真实场景中一致的光照效果。现有技术存在的缺点如下：

（1）现有的各类技术需要复杂的算法支持，其中基于深度学习的光照估计需要大量算力；（2）对于光照一致性研究中的虚实融合效果，目前只能从主观感受上进行评定，缺乏定量分析的手段和客观评价标准，而要比较虚实融合场景下的光照一致性，需要客观的定量评价方法。

发明内容

针对现有技术中存在的不足之处，本发明提供了一种虚实融合场景下的光照一致性定量评价方法。针对目前虚实融合场景下光照一致性缺乏客观标准而只能进行主观感受评定的情况，该方法用于在单一光源下对虚实融合场景下的光照一致性进行客观的定量评价。

本发明提供了一种虚实融合场景下的光照一致性定量评价方法，所述方法的步骤为：

（1）在带有作为真实光源的单一点光源L的真实场景中放置两个已知形状、大小和颜色的长方体（记为M和N）和一个标记图像，以标记图像位置为基准构建真实世界的全局坐标系，根据真实世界全局坐标系与虚拟世界全局坐标系的变换关系，统一真实世界与虚拟世界坐标系；

（2）通过长方体M和N的阴影区域对真实场景中光源位置进行估计，将该估计结果作为虚拟光源位置并进行记录，同时通过摄像头拍摄真实场景的二维图像I₁；

（3）计算真实光源位置和由步骤2所估计的虚拟光源位置之间的角度误差E_𝜃，作为本方法的定量评价指标1；