[发明专利]一种基于语义和材质解析与合成的复杂物体图像重光照方法

权利要求书

1.一种基于语义和材质解析与合成的复杂物体图像重光照方法，其特征在于，包括以下步骤：

(1)将由不同材质组成的复杂物体图像通过物体语义解析分割成物体组件图像A和B，再利用物体材质解析在参考物体图像库中分别选定与输入物体组件图像材质相匹配的参考图像A1，即与A光照状态相似的图像、参考图像A2，即拥有A的参考光照的图像和参考图像B1，即与B光照状态相似的图像、参考图像B2，即拥有B的参考光照的图像，其中A1和A2、B1和B2分别是同一物体图像；

(2)将选定的参考物体图像A1、A2和B1、B2分别与输入物体组件图像A和B进行块匹配变形，得到变形后的参考物体图像和

(3)将变形后的参考物体图像和与输入物体图像组件A和B通过局部和全局仿射变换模型，将参考物体图像和的光照状态迁移到输入物体图像组件A和B上，得到输入物体图像组件A和B在参考物体图像和光照条件迁移后的重光照结果；

(4)将重光照后的输入物体图像组件A和B通过物体语义解析合成为重光照输入物体图像结果。

2.根据权利要求1所述的基于语义和材质解析与合成的复杂物体图像重光照方法，其特征在于：步骤(1)所述物体语义解析分割和物体材质解析方法采取以下步骤：

(11)确定复杂输入物体图像的整体语义，进而分析输入物体图像各组件的语义标签；

(12)确定输入物体图像各组件的语义标签，对复杂输入物体图像进行分割，得到输入物体图像的各部分组件图像A和B；

(13)对输入物体图像的各部分组件图像A和B分别进行材质分析，在参考物体图像库中寻找到与各部分组件材质相同的参考物体图像A1、A2和B1、B2，其中A1和A2、B1和B2分别是同一物体图像；对于每一组件图像，需要找到两个参考物体图像，一个与组件图像光照相似，即A1和B1；另一个作为组件图像的参考光照，即A2和B2。

3.根据权利要求1所述的基于语义和材质解析与合成的复杂物体图像重光照方法，其特征在于：步骤(2)所述块匹配变形方法采取以下步骤：

(21)对于复杂输入图像分割后的各部分组件图像A和B，按照L₂范数，分别将各部分组件图像A和B分割为边长为2r+1的N块；

(22)在参考物体图像A1和B1中遍历寻找与A和B中N块相似的每一块，对应关系如公式其中，(x_p,y_p)是每个像素在块中的坐标，p为块对应的像素基点，i和j为每个块的坐标位置变化量，r为块边长的基数，‖·‖²为L₂范数；

(23)参照(22)中方法实现参考物体图像A1和B1的变形，得到变形后的参考图像和

(24)在参考图像A2和B2中遍历寻找与A和B中N块相似的每一块，对应关系如公式

(25)参照(24)中方法实现参考图像A2和B2的变形，得到变形后的参考图像和

4.根据权利要求1所述的基于语义和材质解析与合成的复杂物体图像重光照方法，其特征在于：步骤(3)所述基于局部和全局仿射变换模型的光照迁移方法采取以下步骤：

(31)将输入物体组件图像A和B,变形参考物体图像和变形参考图像和在CIELAB色彩空间分离为亮度层和色彩层；

(32)在L通道即亮度层对输入物体组件图像的每一块按照局部迁移公式和进行参考物体图像和与和以及重光照结果图像R与输入物体组件图像A和B块级别的光照迁移，其中，P(·)为一个1×N的矩阵，P_k(·)表示已提到图像的第k块，T_k每个块的局部迁移函数；

(33)对块级别完成光照迁移之后，对输入物体组件图像A和B,变形参考图像和变形参考图像和全图范围进行过拟合调整，按照的公式进行全局迁移，得到输入物体组件图像A和B在参考物体图像和光照条件迁移后的重光照结果，其中，R为重光照结果，a和b为每一项的相关系数，为防止过拟合的最小变量值，G为全局迁移函数。

5.根据权利要求1所述的基于语义和材质解析与合成的复杂物体图像重光照方法，其特征在于：步骤(4)所述语义分析合成方法采取以下步骤：

(41)确定重光照后的输入物体组件图像A和B对象，分析其语义；

(42)将重光照后的输入物体组件图像A和B看作部分进行合成，得到最终的重光照物体图像。