[发明专利]一种基于鱼眼镜头的虚实光照融合方法

说明书

技术领域

本发明涉及计算机图像处理与增强现实技术领域，尤其涉及一种基于鱼眼镜头的虚实光照融合方法。

背景技术

增强现实技术将虚拟的三维物体、视频、文字、图片等计算机生成的信息实时叠加显示到真实场景中，通过虚实融合实现自然的人机交互，在医疗卫生、军事仿真、工业维修、教育娱乐等行业具有广泛的应用前景。高度真实感的增强现实效果主要体现在几何一致、光照一致和时间一致等三个方面。其中几何一致指计算机生成的虚拟物体应与真实物体保持准确、稳定的位置关系；光照一致指虚拟物体应与真实环境之间有正确的光照匹配关系；时间一致指虚拟物体与真实物体实现实时交互。随着系统硬件设备与软件跟踪算法的快速发展，目前几何一致与时间一致的研究已经比较成熟，但光照一致的研究仍然面临着诸多难题。

典型的基于光学跟踪的增强现实处理流程输入为真实场景和系统创建的虚拟三维物体，每一帧的处理流程都包含跟踪真实物体、估计真实场景的光照、生成虚拟物体、渲染光照效果等部分，最终输出虚实融合的合成场景。合成场景的真实性主要由真实场景光照的估计、光照渲染以及虚拟物体生成的质量来决定的。在实际研究过程中，复杂的动态光照环境估计、阴影的真实性渲染、物体的表面材质属性估计、不同光照效果的渲染(模糊、焦散、高光等)等都是增强现实光照一致性研究面临的技术挑战和亟待解决的关键问题，其中光照估计是光照一致性的重要先决条件，只有成功估计出真实环境的光照才能够产生高度真实感的渲染效果。最近几年的光照一致性研究按照研究手段将已有研究分为借助辅助标志物的方法、借助辅助拍摄设备的方法和无需辅助标志或拍摄设备的图像分析方法三类。其中辅助标志物指放在场景中的一些特殊物体，用来捕获真实场景中的光照信息或通过分析其阴影推测光源方向等。辅助拍摄设备主要指深度相机、鱼眼镜头相机以及光场相机等特殊拍摄设备，借助这些辅助设备能够获得深度、全视角场景、光场等信息，进而可以更加方便地计算场景中的光照情况。图像分析方法运用机器学习、图像处理等相关技术分析真实场景的光照情况，不需要借助多余的硬件设备，是近年来光照估计领域的重要发展方向。

借助辅助标志物的方法比如1998年美国南加州大学的Debevec参见(Debevec P.Rendering synthetic objects into real scenes:Bridg-ing traditional and image-based graphics with global illumination and high dynamic range photography[C]//ACM SIGGRAPH 1998classes.FL:ACM,1998:32.)首先提出采用不同曝光时间拍摄多幅镜面小球图像、通过组合这些图片制作高动态范围(High-Dynamic Range,HDR)环境光测图的方法，该方法在估算出局部场景的双向反射分布函数(Bidirectional Reflectance Distribu-tion Function,BRDF)后，将光测图映射到场景虚拟物体上，最终使用差分渲染提高渲染的效果，如图5(a)所示，该方法可以实现逼真的合成图像，但是缺点是需要大量的预处理操作，无法实现实时交互。

借助辅助拍摄设备的方法比如2007年，丹麦奥尔堡大学的Madsen等(参见Madsen C,Laursen R.A scalable GPU-based approach to shad-ing and shadowing for photo-realistic real-time augmented reali-ty[C]//International Conference on Computer Graphics Theory and Applications.Barcelona,2007:252-261.)提出使用HDR相机拍摄HDR图像的方法，通过结合阴影图渲染并利用GPU加速渲染过程，实现了虚实场景的实时交互，但是该方法由于在给定位置离线拍摄用于渲染所有虚拟物体的HDR环境贴图，所以只适合于光照不变的环境。