[发明专利]一种基于记忆增强的视频去雨方法与装置

说明书

本发明公开了一种基于记忆增强的视频去雨方法与装置，其步骤包括：1)将卷积长短期记忆网络的内部状态作为全局长期记忆；对于待去雨处理的目标视频，将该目标视频的前n帧分别输入记忆增强去雨网络，获得各帧对应的去雨结果；2)对于该目标视频的第n帧之后的每一帧，执行步骤a)～c)，获得该目标视频对应的去雨视频：a)将当前待去雨帧的前多帧的去雨结果、全局长期记忆、当前待去雨帧输入记忆增强去雨网络进行去雨，得到当前帧的去雨结果；b)计算当前待去雨帧与其去雨结果之间的差值，作为当前待去雨帧的雨痕图；c)将雨痕图输入卷积长短期记忆网络，更新该卷积长短期记忆网络的内部状态作为新的全局长期记忆。

技术领域

本发明属于软件技术领域，涉及一种视频去雨方法，尤其涉及一种基于记忆增强的视频去雨方法与装置。

背景技术

在雨天条件下拍摄得到的视频数据，在视频帧中会出现雨痕，同时局部区域还会由于水汽的聚集而产生雾化的效果，这些现象会导致视频的质量受到很大的影响，主要体现在两个方面：首先视频的主观图像质量会受到影响，导致其视觉效果不佳。此外，随着计算机视觉的快速发展，对雨天拍摄的视频的相关计算机视觉分析任务的性能也会受到下降，比如对于雨天视频中的目标检测，会由于雨痕、雾化的现象导致准确率降低，这也是自动驾驶真正投入实际应用过程中所必须面对的问题。因此，视频去雨方法逐渐成为了研究热点。近年来，随着深度学习的快速发展，基于深度学习进行视频去雨逐渐成为可能。

对于视频去雨问题，需要从单张图像的去雨与多帧之间的时域连续性结合来考虑。经过去雨得到的结果，不仅本身需要有较好的视觉效果，还需要保证所有的去雨后的帧之间依然保有较好的时域连续性，否则，即使单个视频帧能够取得较好的去雨效果，如果缺乏对于去雨结果的时域连续性约束，那么相邻帧之间由于去雨过程可能会产生了不一致的图像变形，那么会严重影响去雨后的视频的质量。

发明内容

针对上述问题和相关方法的缺陷，本发明的目的在于提供一种基于记忆增强的视频去雨方法与装置。在每一帧的去雨过程中，本发明所提出的记忆增强去雨网络的输入，除了当前待去雨帧外，还会将当前待去雨帧的前两帧的去雨结果以及一个全局长期记忆作为输入，其中，前者负责引入短期时域信息，后者引入长期时域信息，从而进行时域上的约束，并引导模型生成时域连续的去雨结果。在当前帧的去雨过程结束后，还会根据去雨结果动态更新全局长期记忆，并用于下一帧的去雨过程。

本发明主要包括以下步骤：

(1)对于视频的前两帧，将长期记忆设置初始化为0，并将其自身直接输入去雨网络获得去雨结果。

(2)从第三帧开始，将当前帧的前两帧的去雨结果、全局长期记忆、当前待去雨帧输入记忆增强去雨网络进行去雨，得到当前帧的去雨结果。

(3)计算当前待去雨帧与其去雨结果之间的差值，即当前帧的雨痕图。

(4)将当前帧的雨痕图输入卷积长短期记忆网络(卷积LSTM网络)，将该卷积长短期记忆网络新的内部状态作为新的全局长期记忆，从而更新全局长期记忆。

(5)重复第2步到第4步，直到所有的视频帧都完成去雨过程，获得完整去雨视频。

本发明的技术方案为：

一种基于记忆增强的视频去雨方法，其步骤包括：

1)将卷积长短期记忆网络的内部状态作为全局长期记忆；对于待去雨处理的目标视频，将该目标视频的前n帧分别输入记忆增强去雨网络，获得各帧对应的去雨结果；

2)对于该目标视频的第n帧之后的每一帧，执行步骤a)～c)，获得该目标视频对应的去雨视频；

a)将当前待去雨帧的前多帧的去雨结果、当前的全局长期记忆、当前待去雨帧输入记忆增强去雨网络进行去雨，得到当前帧的去雨结果；

b)计算当前待去雨帧与其去雨结果之间的差值，作为当前待去雨帧的雨痕图；