[发明专利]图像反射光消除方法及图像反射光消除网络构建方法

说明书

本发明适用图像处理技术领域，提供了一种图像反射光消除方法及图像反射光消除网络构建方法；其中消除方法通过编、解码器构成的第一网络，对输入图像中的透射和反射进行粗略估计，然后将粗略反射估计作为空间注意力掩模，在第二网络中引入门控卷积层，对反射信号强烈的区域进行重点处理，进一步提升透射图像的预测精度。同时，构建采用该方法的神经网络时通过网络对抗和损失函数进行网络优化，可以得到更好的反射光消除效果。

技术领域

本发明属于图像处理技术领域，尤其涉及图像反射光消除方法及图像反射光消除网络构建方法。

背景技术

数字成像系统中针对存在玻璃反射这一特殊成像场景，图像中的反射光会对图像的投射光造成干扰，影响透射光的图像表达。对于反射光消除问题，由于反射成像时，由于玻璃厚度、成像角度以及折射率等因素影响，大部分神经网络移除反射光时受到反射干扰图像与真实透射光之间存在一定的坐标偏移，从而影响了透射图像预测的准确性。

同时，目前大部分的神经网络采用对反射光的图像进行高斯模糊之后，再与透射像加权求和的方式来生成训练样本。对于仿真生成的样本(合成的既有反射光图像又有透射光图像的图片)而言，其对应的真实反射像和透射像都是已知的，因此相比于真实样本来说，其可以用来监督学习的信息反而更加丰富。但是目前，大部分的反射光移除网络只对透射图像进行预测，而没有利用反射图像中的有用信息，因此预测性能比较有限。

发明内容

本发明的目的在于提供图像反射光消除方法及图像反射光消除网络构建方法，旨在解决提升透射图像的预测精度的技术问题。并进一步构建一种基于反射掩模引导的图像反射光消除网络。

一方面，本发明提供了一种图像反射光消除方法，所述方法包括下述步骤：

S1.通过编码器和解码器构成的第一网络对包含反射光的图像进行64个通道特征提取、粗略反射估计和粗略透射估计；

S2.通过门控卷积和普通卷积构成的第二网络对所述第一网络的输出信息进行量化掩模遮挡条件下的图像恢复和补全，输出3通道透射估计图像。

另一方面，本发明还提供了一种图像反射光消除网络的构建方法，包括：

G1.搭建Tensorflow的开发环境并选取包含反射光的图像的训练集；

G2.构建基于反射掩模引导的二级反射光消除网络模型；

G3.为所述二级反射光消除网络模型层每级网络构建损失函数，以增加最终的透射光预测的误差权重，从而提升透射估计图像的预测精度；

G4.使用Adam优化器优化所述损失函数。

本发明通过通过编、解码器构成的第一网络，对输入图像中的透射和反射进行粗略估计，然后将粗略反射估计作为空间注意力掩模，在第二网络中引入门控卷积层，对反射信号强烈的区域进行重点处理，进一步提升透射图像的预测精度。同时，构建采用该方法的神经网络时通过网络对抗和损失函数进行网络优化，可以得到更好的反射光消除效果。

附图说明

图1是本发明实施例一提供的图像反射光消除方法的实步骤框图；

图2是本发明实施例二提供的图像反射光消除网络构建方法的步骤框图；

图3是本发明施例二提供的图像反射光消除网络构建方法的中生成对抗网络中的生成器的结构图；

图4是本发明施例二提供的图像反射光消除中生成对抗网络中的判别器结构；

图5是本发明施例一提供的图像反射光消除方法的精细分割流程示意图。

具体实施方式