[发明专利]一种图像去雨方法及装置

说明书

本发明提供了一种图像去雨方法和装置，包括：将带雨滴的待检测图像分离为高频分量图像和低频分量图像；将高频分量图像输入至训练好的含残差结构的卷积神经网络，输出去雨图像，将去雨图像与待检测图像综合，得到无雨图像；将无雨图像输入至训练好的含判别结构的卷积神经网络，输出无雨图像和待检测图像对应的无雨滴图像比较的类别，将该类别输入至含残差结构的卷积神经网络，并更新含残差结构的卷积神经网络的参数，得到最终的无雨图像。本发明得到的最终的无雨图像，保留了待检测图像中没有雨区域的纹理细节，使得最终的无雨图像与待检测图像对应的无雨滴图像接近，很好地保留了待检测图像中的重要因素。

技术领域

本发明涉及图像处理和机器学习技术领域，尤其涉及一种图像去雨方法及装置。

背景技术

随着机器学习技术的迅猛发展以及图像处理技术的日趋成熟，户外计算机视觉系统由于精准、快速、可靠且能直观、实时和全面反映被监测对象，及时获得大量丰富且高分辨率的图像信息等优点，尤其在不易被人类直接观察的场合，可以解决人工观测难的问题，被广泛的应用于各种领域，如汽车无人驾驶或远程监视系统，但是，在现实生活中，在雨雪天气下，由于光线和折射的影响，图像中的物体很容易模糊，并被单独的雨痕阻挡，因此雨雪对户外计算机视觉系统造成很大的影响，导致汽车无人驾驶出现故障，或在重要位置设置的摄像头也会因为风沙雨雪的遮挡，导致无法提供给公安人员足够的信息来进行对罪犯的身份确定。因此，需要对该类图像进行去雨处理。

目前，基于深度学习的图像去雨方法主要包括基于纯粹物理模型和数学推导的算法、基于图像处理知识的算法和基于稀疏编码字典学习和分类器的算法等，由于雨水和背景纹理的内在重叠性，当前大部分算法会平滑没有雨区域的纹理细节，同时雨水在图像中引起的变化是复杂的，当前的图像去雨方法不能很好地覆盖真实雨水图像中的一些重要因素，例如水气、雨水的不同形状或方向等。

因此，目前基于深度学习的图像去雨方法存在会平滑雨水图像中没有雨区域的纹理细节，同时不能很好地覆盖真实雨水图像中的一些重要因素的问题。

发明内容

为了解决目前基于深度学习的图像去雨方法存在会平滑雨水图像中没有雨区域的纹理细节，同时不能很好地覆盖真实雨水图像中的一些重要因素的问题，本发明提供了一种图像去雨方法，包括：

获取带雨滴的待检测图像；

将待检测图像分离为高频分量图像和低频分量图像；

将高频分量图像输入至训练好的含残差结构的卷积神经网络，输出去雨图像，将去雨图像与待检测图像综合，得到无雨图像；

将无雨图像输入至训练好的含判别结构的卷积神经网络，输出无雨图像和待检测图像对应的无雨滴图像比较的类别，将类别输入至含残差结构的卷积神经网络，并更新含残差结构的卷积神经网络的参数，得到最终的无雨图像。

优选地，含残差结构的卷积神经网络包括顺序进行的第一卷积层，非线性激活函数层，第一池化层和反卷积层。

优选地，含残差结构的卷积神经网络的训练函数为：

其中，D(p)为含残差结构的卷积神经网络的训练函数，p为含残差结构的卷积神经网络的网络参数，I_GT为待检测图像对应的无雨滴图像，I_RE为含残差结构的卷积神经网络输出的去雨图像，N为图片张数，i为图片数目。

优选地，含判别结构的卷积神经网络包括顺序进行的第二卷积层、第二池化层和全联接层。

优选地，含判别结构的卷积神经网络的训练函数为：

D(p₁)＝min[-log(D(I_GT)-log(1-D(I_RE)]