[发明专利]一种基于语义和材质解析与合成的复杂物体图像重光照方法

说明书

本发明提出了一种基于语义和材质解析与合成的复杂物体图像重光照方法，将语义和材质解析与合成、块匹配算法以及局部和全局光照迁移模型相结合。首先利用语义解析把物体图像分割成物体组件，以便通过材质解析寻找到与物体组件材质一致的参考物体图像，然后利用块匹配算法对各参考物体图像进行变形，使之与输入物体图像的各组件形状相匹配；再对输入物体图像的各组件和各变形参考图像经过局部和全局仿射变换之后进行光照迁移，完成输入物体图像的各组件重光照，最后利用语义解析将各重光照组件进行合成，得到重光照后的物体图像。该方法很容易通过软件实现，本发明可广泛应用推广到计算机视觉、视觉设计、数字娱乐和电影制片等中。

技术领域

本发明属于可视计算、计算机视觉领域，特别是复杂物体光照迁移方法，具体地说是基于语义和材质解析与合成的复杂物体光照迁移方法。

背景技术

基于物体图像的无3D模型的逼真虚拟重光照已经在可视计算领域广泛地研究，并且在视觉设计、数字娱乐和电影制片等方面得到广泛地应用。

2016年，Jin和Tian等人提出了一种简单的物体照明转移方法[参见Xin Jin,YuluTian,Chaochen Ye,Jingying Chi,Xiaodong Li,Geng Zhao.Object Image Relightingthrough Patch Match Warping and Color Transfer.The16th InternationalConference on Virtual Reality and Visualization(ICVRV),Hangzhou,China,23-25September,pp.235-241,2016.]。

2009年比利时哈瑟尔特大学的Haber等提出一种基于图像的静态对象重光照方法。他利用多视立体方法通过多幅不同视点和不同光照条件下图像来计算对象的几何结构，然后用基于小波的全频域重光照框架来计算每幅图像的入射光和表面顶点的反射属性。该方法需要利用多视角图像获取静态对象精确几何信息来进行重光照，而一般运动对象的精确几何信息难以获取，因此难以推广到视频运动对象的重光照；此外，该方法在分解材质和环境光颜色时效果不佳[参见Tom Haber,Christian Fuchs,Philippe Bekaert,Hans-Peter Seidel,Michael Goesele and Hendrik P.A.Lensch.Relighting Objectsfrom Image Collections[A].Proc.CVPR[C],June 2009]。

基于物体图像的虚拟重光照可以分为以下两类：简单物体图像重光照和复杂物体图像重光照。除了3D重建理论，另外的研究方向是利用参考物体图像更实际的应用到现实世界的应用中。在此方向中，基于多幅物体参考图像的物体重光照是最为普遍的研究方向。

在简单物体图像重光照中，在参考物体图像库很容易找到与输入物体图像几何形状相似的参考物体图像。因此，简单物体图像的重光照方法通常采用两幅参考物体图像。然而，复杂的物体图像很难找到在参考物体图像库找到与其几何形状相似的参考物体图像，上述的方法就不再适用。本发明从物体语义解析与合成方法中获得了灵感，通过将复杂输入物体图像进行语义分割成各部分组件分别进行重光照，再将重光照的各部分组件进行语义分析合成得到重光照结果。

不同于简单物体如杯子具有相同的材质，复杂物体如汽车的各部分组件由不同的材质构成。选择不同材质的参考物体图像对输入物体图像光照迁移有较大影响，本发明采用物体材质解析，对组成复杂物体的各部分组件的材质进行分析，进而在参考物体图像库中寻找到材质相同的参考物体图像，如此便可减少材质对后期光照迁移处理的影响。

发明内容

本发明要解决技术问题为：克服现有技术的不足，提供一种基于语义和材质解析与合成的复杂物体光照迁移方法，该方法能够有效的处理复杂物体图像重光照，降低发明成本，而且很大程度提高复杂物体图像重光照效果，大大节约运行时间，提高运行效率。