[发明专利]基于闪光灯线索和神经网络的图像复原系统及其方法

权利要求书

1.基于闪光灯线索和卷积神经网络的图像复原系统，其特征在于：所述图像复原系统包括反射训练图集、去反射卷积神经网络和优化训练模块；所述去反射卷积神经网络包括反射图估计子网络和透射图估计子网络；其中：

所述反射训练图集通过如下公式将含有反射的环境图，闪光灯图，透射图和反射图处理生成初始图像I_fo：

I_fo＝I_f-I_a

其中：环境光照图像I_a和闪光灯图像I_f；

所述反射图估计子网络以环境光照图像I_a和初始图像I_fo作为输入生成反射图像R；

所述透射图估计子网络以反射图像R和环境光照图像I_a作为输入生成透射图像T；

所述优化训练模块通过L1范数损失函数和感知损失函数的线性组合训练去反射神经网络获得优化去反射神经网络。

2.根据权利要求1所述的基于闪光灯线索和卷积神经网络的图像复原系统，其特征在于：所述反射图估计子网络和透射图估计子网络均由编码器和解码器组成；所述编码器包括卷积层、下采样层和多分支残差层；所述解码器包括8层卷积层和4层上采样层。

3.根据权利要求2所述的基于闪光灯线索和神经网络的图像复原系统，其特征在于：所述多分支残差层还包括有浅层残差单元；所述多分支残差层对输入图像参数进行反射、透光的特征提取生成特征图像步骤：

201、所述多分支残差层将第一级特征X₁按照如下公式在通道维度进行分割生成三部分独立图像特征；

X₁＝X₁[1]∪X₁[2]∪X₁[3]

202、所述浅层残差单元按如下公式分别对X1[2]和X1[3]进行卷积和残差连接处理：

S_3×3(X₁[2])＝LeakyRELU(C_3×3(X₁[2])+X₁[2])

S_3×3(X₁[3])＝LeakyRELU(C_5×5(X₁[3])+X₁[3])

其中：C_3×3(·)和C_5×5(·)分别表示卷积核为3×3和5×5的卷积层；

203、所述多分支残差层按照如下公式对X₁[2]和X₁[3]经过浅层残差单元处理后的结果在通道维度上进行拼接生成中间特征M

M＝Concat(S_3×3(X₁[2])，S_5×5(X₁[3]))

其中Concat(·,·)表示通道上的拼接操作；

204、所述多分支残差层按照如下公式对中间特征M进行通道混合操作^[7]和1×1的卷积层特征融合生成第一次融合特征F，

F＝C_1×1(Shuffle(M))

其中：Shuffle(·)表示通道混合操作；将1×1的卷积层记为C_1×1(·)；

205、所述多分支残差层通过如下公式将融合特征F与第一级特征X₁相加得到第二级特征X₂，

X₂＝X₁+F

206、重复上述步骤201～205对第二级特征X₂在通道维度进行分割生成三部分独立特征X₂＝X₂[1]∪X₂[2]∪X₂[3]，X₂[2]和X₂[3]经过浅层残差单元生成第三级特征X₃；

207、重复上述步骤201～205对第三级特征X₃在通道维度进行分割生成三部分独立特征X₃＝X₃[1]∪X₃[2]∪X₃[3]，X₃[2]和X₄[3]经过浅层残差单元生成第四级特征X₄；；

208、所述多分支残差层按照如下公式将{X₁[1],X₂[1],X₃[1],X₄}在通道维度上进行拼接，并再次通过1×1的卷积层进行特征融合生成第二次融合特征Y，

Y＝C_1×1(Concat(X₁[1],X₂[1],X₃[1],X₄))

209、所述多分支残差层按照如下公式将第一级特征X₁与第二次融合特征Y再次进行通道维度的拼接获得最终特征O，

O＝Concat(X₁,Y)。