[发明专利]基于双边特征金字塔网络与多尺度鉴别的本质图像分解方法研究

权利要求书

1.本发明提出一种基于双边特征金字塔与多尺度鉴别的本质特征图像分解方法，该方法使用的网路结构主要分为2个部分：生成器网络和鉴别器网络。

(1)生成器网络

本发明的生成器网络包含反射图生成器和光照图生成器。反射图生成器和光照图生成器在结构上只有在跳连接通道上有所不同。生成器的主干网络采取U-Net网络结构为模板，一共有5层，每层卷积层对应的通道依次为16、32、64、128和256。对于跳连接通道，本发明采取上下对称的结构。反射图生成器先从低频向高频计算中间特征，再从高频向低频结合中间特征计算输出特征。光照图生成器先从高频向低频计算中间特征，再从低频向高频结合中间特征计算输出特征。本发明的生成器网络的损失函数如式(1)所示。

L_G＝L_GAN-G+L_mse+L_cos+L_bf+L_feat (1)

其中，L_GAN-G表示固有损失函数，L_mse表示均方误差函数，L_cos表示余弦损失函数，L_feat表示特征损失函数。

固有损失函数L_GAN-G的计算公式如公式(2)所示：

其中，W_i表示第i层归一化权重参数，i表示网络层序号，fake_output_i表示输出图像为假的概率，ones表示概率为1。

均方误差函数L_mse的计算公式如公式(3)所示：

其中，fake_image_i表示解码器的倒数第i层特征图的输出，true_image_i表示放缩i倍的图像标签。

余弦损失函数L_cos的计算公式如公式(4)所示：

其中，fake_region_i表示生成图像的第i块区域，true_region_i表示生成图像的第i块区域；

交叉双边滤波损失L_bf的计算公式如公式(5)-(7)所示：

其中，L_bf表示双边带滤波损失，bf表示双边带滤波，C表示标签图像，{A,S}分别表示反射图和光照图，J_p表示双边滤波器的输出，C_p表示标签图像第p个像素的值，N_p表示p像素以及邻居像素的总和个数，W_p表示正规化权重，q表示p的邻居像素位置，N(p)表示第p个像素的邻居像素位置集合，表示空间高斯核，p表示第p个像素的位置，表示范围高斯核，C_q表示邻居像素q的值；

L_feat的计算公式如公式(8)所示：

其中，l表示VGG网络的第l层，F_l表示第l层特征图的通道数，H_l表示第l层特征图的高度，W表示第l层特征图的宽度，表示第l层的特征激活值；

(2)鉴别器网络

鉴别器由四层卷积神经网络组成；在反射图生成器或光照图生成器进行训练时，将反射图生成器或光照图生成器输出的反射图或光照图输入鉴别器，鉴别器将输入的反射图或光照图与标签图像进行对比，输出反射图或光照图与标签图像一致的概率；

反射图生成器与鉴别器组合用于训练反射图生成器。光照图生成器与鉴别器组合用于训练光照图生成器。本发明使用MIT以及MPI数据集对生成器网络训练，采用SGD优化方法对网络参数进行更新，当式1中的损失函数值最小时停止训练，得到最终的训练好的网络。训练好的网络可以对输入图像进行本征分解，得到最合适的反射图像与光照图像。

定义鉴别器损失如公式(9)所示：

其中，L2表示l₁损失，y_i表示ground-truth图像，f(x_i)表示超分辨率后的图像。