[发明专利]基于闪光灯线索和神经网络的图像复原系统及其方法

说明书

本发明公开了基于闪光灯线索和神经网络的图像复原系统及其方法，所述图像复原系统包括反射训练图集、去反射卷积神经网络和优化训练模块；所述去反射卷积神经网络包括反射图估计子网络和透射图估计子网络；所述反射训练图集通过含有反射的环境图，闪光灯图，透射图和反射图处理生成初始图像I_fo：所述反射图估计子网络以环境光照图像I_a和初始图像I_fo作为输入生成反射图像R；所述透射图估计子网络以反射图像R和环境光照图像I_a作为输入生成透射图像T；所述优化训练模块通过L1范数损失函数和感知损失函数的线性组合训练去反射神经网络获得优化去反射神经网络；本发明可以利用闪光灯图的辅助可以快速准确的恢复出无反射图像。

技术领域：

本发明涉及图像处理技术与深度学习技术领域，尤其涉及基于闪光灯线索和神经网络的图像复原系统及其方法。

背景技术：

反射是一种常见的光学现象。当隔着玻璃或者其他透明介质进行拍照时，所获得的照片将混合位于介质两侧的透射和反射两个不同场景。与其他图像退化问题不同，反射所引入的失真具有非均匀特性，一些强反射区域导致人眼难以判断原始场景中的信息，同时反射图像会对图像语义信息的理解造成干扰。因此，反射不仅影响图像的视觉质量，同时对后续识别等下游视觉任务的有显著影响。随着目前智能手机的普及和视觉信息在智能监控中的广泛应用，对成像质量的要求日益增强，针对反射图像的复原在目前具有较强的实用价值。

在图像去反射任务中，包含反射的环境图像I可以表示为透射图T和反射图R的线性组合I＝T+R，图像去反射即从混合图像I中分解出透射图像T。

图像去反射方法可以分为基于传统图像处理方法和基于深度学习的方法。传统图像处理方法利用额外的参考信息来实现图像去反射，例如，Agrawl等人^[1]利用闪光灯图像和梯度投影来去除图像中的伪影；Wan等人^[2]利用深度图来识别图像中的反射边缘，在边缘信息的引导下消除图像中的反射。

基于深度学习的去反射方法目前针对单图像去反射，只需要单幅带有反射的图像作为输入，训练卷积神经网络从输入图像中估计透射场景。例如，Fan等人^[3]率先提出一种基于边缘图和深度神经网络的反射去除算法，通过一个两阶段的框架先预测无反射图像的边缘信息，之后利用获得的边缘信息来恢复透射图像。Yang等人^[4]提出一种级联的神经网络结构交替估计透射和反射图像，该网络先从输入图像中估计一个粗略的透射图T，之后利用生成的粗略透射图T来估计反射图R，最后将输入图像I和估计的反射图R作为输入，生成最终的透射图T。与之类似，Li等人^[5]通过利用LSTM实现了一种循环的级联细化网络，通过利用LSTM不断进行迭代，将每次生成的透射图T和反射图R作为下一次循环的输入，不断更新，从而得到最终且效果更好的透射图T和反射图R。然而，目前的单图像去反射方法的鲁棒性还不强，难以处理一些包含复杂环境的反射以及强反射等。

基于闪光灯线索的去反射方法通过增加一张额外在闪光灯条件下拍摄的图像作为输入。在自然光照和闪光灯光照条件下对同一场景进行拍摄，仅会对透射场景的成像光照造成影响，由于反射场景位于相机后方，不受闪光灯的影响。因此，借助闪光灯成像可以为去反射提供更多线索，有助于解决传统单张图像去反射存在的局限性。Lei等人^[6]提出了一种新颖的基于闪光灯线索的图像去反射方法，首先将分别在环境光和闪光灯光照条件下对同一场景拍摄的两幅图像相减消除反射的影响，得到flash-only图像(即相当于不包含自然光，仅包含闪光灯条件下的成像结果)，利用flash-only图像作为卷积神经网络的引导，从而实现恢复出质量更好的透射图。

由于闪光灯被广泛集成于智能手机中，借助开、关闪光灯状态下产生的光照差异可以得到对消除反射有用的辅助线索，有助于实现较单张图像去反射更好的复原效果。

发明内容：