[发明专利]基于深度学习的模糊视频超分辨率方法及系统

说明书

本发明公开了一种基于深度学习的模糊视频超分辨率方法，在单帧深度反投影超分辨率模型的基础上，设计了多帧模糊视频超分辨率模型，提升了模糊视频超分辨率重建质量并且支持高倍数(×8)重建。针对运动模糊视频超分辨率重建后视频边缘轮廓等细节信息不清晰，视频质量低的问题，本发明通过在深度反投影超分辨率模型上引入递归学习和多帧融合策略构建模糊视频超分辨率模型。该模型通过学习模糊低分辨率视频帧到清晰高分辨率视频帧的非线性映射，能够重建边缘轮廓清晰的超分辨率视频，提升了运动模糊视频超分辨率重建的质量，使得人们能够更好的获取视频信息，例如超分辨率重建医疗视频帮助医生清楚观察患者的病灶部位，提高疾病确诊和治愈的可能。

技术领域

本发明涉及视频超分辨率处理领域，特别是一种基于深度学习的模糊视频超分辨率方法及系统。

背景技术

随着高分辨率硬件设备的迅速发展，视频分辨率的标准越来越高。但是，由于成像环境、设备工艺、存储限制、网络传输、电路集成度、功耗等因素，当前多数视频的分辨率未达到高分辨率设备的播放要求。因此，研究基于低分辨率视频重建相应高分辨视频的超分辨率算法成为亟待解决的问题。视频超分辨率技术是指通过单幅或多幅相同场景下的低分辨率视频帧重建对应高分辨率视频帧的过程。多帧超分辨率技术需要利用相邻帧之间的冗余信息来恢复当前视频帧，通常比单帧的超分辨拥有更多的图像细节。视频超分辨率算法通过低分辨率视频重建高分辨率视频，实现了视频分辨率的提升；但在重建视频分辨率时需要考虑许多因素的影响，例如通常我们所获得的低分辨率视频由于成像环境、传感器、网络传输等原因容易受到运动模糊、噪音、光学失真、空气干扰等污染。如果直接在模糊的视频基础上重建超分辨率视频，得到的高分辨率视频质量较低，视频细节信息特征过于平滑，难以从重建视频中获取有效信息。在视频超分辨率的研究基础上结合去噪算法，提出模糊视频的超分辨率方法，实现在视频超分辨率重建的同时去掉视频的部分噪音，能够有效提高视频质量，增强视频细节信息特征，便于从视频中获取有效信息。从而提升了模糊视频超分辨率重建的质量，使得人们能够更好的获取视频信息，例如帮助医生确诊断病情，从而提高疾病确诊和治愈的可能性。

单图像超分辨率方法忽略了帧间关系，无法利用同一视频场景相邻帧的有用信息，因此视频超分辨率的重建往往采用多帧超分辨模型。在多帧超分辨率上，早期的研究多集中在使用贝叶斯框架，从一系列的LR图像中重构一个HR图像。贝叶斯视频超分辨率方法采用了光流算法或分层块匹配方法来寻找运动场，以便能够处理真实世界中运动过程较为复杂的视频。Cheng等人提出了一种使用全连接层的patch-based视频超分辨率算法，使用5个连续的LR帧来重建一个中心HR帧。其需要对视频进行patchwise处理，其中网络的输入为5×5×5的大小，输出为HR图像重建的3×3个patch。并且使用patch与相邻帧进行块匹配，得到5×5个patch或相邻帧。VESPCN将亚像素卷积的效率与时空网络的性能和运动补偿相结合，得到了快速、准确的视频超分辨率算法。VESPCN研究了早期融合、慢融合和三维卷积对时间维的不同处理方法，同时建立了一个基于空间变压器的运动补偿方案，并结合时空模型，得到了一个非常有效的视频SR运动补偿方法。VSRNET(Video Super-ResolutionWith Convolutional Neural Networks)是一种利用CNN同时学习视频空间维度和时间维度的视频超分辨率算法。视频帧序列在运动补偿后作为CNN的输入，最后重建出高分辨率的视频帧。

现有技术存在以下缺陷：

现有视频超分辨率重建模型在运动模糊视频重建上，重建的视频内容较模糊，视频帧细节信息不清晰；列出的视频超分辨率重建模型都是前馈结构，在高质量视频的重建中，需要建立一个非常深的网络结构，不适合于高倍数(×8)视频的重建。

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种基于深度学习的模糊视频超分辨率方法，重建内容和细节清晰的视频。

为解决上述技术问题，本发明所采用的技术方案是：一种基于深度学习的模糊视频超分辨率方法，包括以下步骤：