[发明专利]一种基于多帧融合的实时超分辨率重建方法及系统

说明书

本发明公开了一种基于多帧融合的实时超分辨率重建方法及系统。该方法包括：构建网络模型；构建网络模型包括：对当前帧进行线性特征提取，获得当前帧的线性特征图；对当前帧和历史帧进行非线性特征提取和特征融合，获得特征融合后的非线性特征图；历史帧为所述当前帧的前N帧，其中，N为自然数；基于特征融合后的非线性特征图和当前帧的线性特征图，得到当前帧的目标分辨率的图像。本发明有效解决了现有的超分辨率技术在实时性方面的缺陷，在保证实时性的前提下提高图像重建的质量和视觉效果。

技术领域

本发明属于图像处理技术领域，更具体地，涉及一种基于多帧融合的实时超分辨率重建方法及系统。

背景技术

超分辨率技术是将低分辨率画面变换为高分辨率画面的一种技术手段，目前逐渐应用在视频、游戏等场景。传统的超分辨率技术包括双线性、双三次插值法等，这些以插值法为代表的超分辨率方法虽然对算力的要求不高，但是其本质还是对局部进行色彩填充，效果不太理想。

无论是针对图像还是视频的超分辨率技术，都无法有效地解决实时性的超分辨率任务(游戏、监控等场景)。针对图像的超分辨率技术因为只能逐帧超分，应用到实时场景会造成画面的不连续和抖动。针对视频优化的超分辨率技术因为通常需要使用视频流的前后帧信息，会造成至少N帧的延迟；此外因为针对视频优化的超分辨率网络通常结构复杂，计算量大，大尺度超分辨率过程对硬件要求很高，难以做到实时输出。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于多帧融合的实时超分辨率重建方法及系统，有效解决了现有的超分辨率技术在实时性方面的缺陷，在保证实时性的前提下提高图像重建的质量和视觉效果。

为实现上述目的，按照本发明的一个方面，提供了一种超分辨率重建方法，包括构建网络模型；构建网络模型包括：对当前帧进行线性特征提取，获得当前帧的线性特征图；对当前帧和历史帧进行非线性特征提取和特征融合，获得特征融合后的非线性特征图；所述历史帧为所述当前帧的前N帧，其中，N为自然数；基于特征融合后的非线性特征图和当前帧的线性特征图，得到当前帧的超分辨率重构图像。

在一些实施方式中，对当前帧进行线性特征提取包括：使用无激活函数的卷积核对当前帧进行线性特征提取；所述对当前帧和历史帧进行非线性特征提取包括：使用非线性函数激活的卷积核对当前帧进行非线性特征提取；使用非线性函数激活的卷积核对所述历史帧进行非线性特征的提取。

在一些实施方式中，特征融合包括：使用非线性函数激活的卷积核补偿每一所述历史帧与当前帧的帧间运动，确定补偿后的非线性特征图；将补偿后的非线性特征图与当前帧的非线性特征图拼接后，使用非线性函数激活的卷积核进行非线性特征融合。

在一些实施方式中，基于特征融合后的非线性特征图和当前帧的线性特征图，得到当前帧的超分辨率重构图像包括：将特征融合后的非线性特征图和当前帧的线性特征图叠加并进行像素重排，再使用无激活函数的卷积核对像素重排后的图像进行像素修正，得到当前帧的超分辨率重构图像。

在一些实施方式中，该方法还包括构建数据集；构建数据集包括：根据实时的运动数据，渲染在初始分辨率和目标分辨率下的输出录像，构建初始分辨率的数据集和目标分辨率的数据集，将初始分辨率的数据集和目标分辨率的数据集按照预定的比例划分为训练集和测试集。

在一些实施方式中，该方法还包括训练网络模型；训练网络模型包括：利用训练集中初始分辨率和目标分辨率的图像数据，根据预设的损失函数计算损失值，在损失值和/或训练集的准确率和/或测试集的准确率达到预设标准时，完成网络模型的训练；其中，训练集的准确率为训练集中利用网络模型实现从初始分辨率到目标分辨率重构的像素点数占训练集的像素点总数的比例，测试集的准确率为测试集中利用网络模型实现从初始分辨率到目标分辨率重构的像素点数占测试集的像素点总数的比例。

在一些实施方式中，采用Huber损失函数计算损失值如下：