[发明专利]一种基于多帧融合的实时超分辨率重建方法及系统

权利要求书

1.一种超分辨率重建方法，其特征在于，包括构建网络模型；

所述构建网络模型包括：

对当前帧进行线性特征提取，获得当前帧的线性特征图；

对当前帧和历史帧进行非线性特征提取和特征融合，获得特征融合后的非线性特征图；所述历史帧为所述当前帧的前N帧，其中，N为自然数；

基于特征融合后的非线性特征图和当前帧的线性特征图，得到当前帧的超分辨率重构图像。

2.如权利要求1所述的超分辨率重建方法，其特征在于，所述对当前帧进行线性特征提取包括：

使用无激活函数的卷积核对当前帧进行线性特征提取；

所述对当前帧和历史帧进行非线性特征提取包括：

使用非线性函数激活的卷积核对当前帧进行非线性特征提取；

使用非线性函数激活的卷积核对所述历史帧进行非线性特征的提取。

3.如权利要求1所述的超分辨率重建方法，其特征在于，所述特征融合包括：使用非线性函数激活的卷积核补偿每一所述历史帧与当前帧的帧间运动，确定补偿后的非线性特征图；将补偿后的非线性特征图与当前帧的非线性特征图拼接后，使用非线性函数激活的卷积核进行非线性特征融合。

4.如权利要求1所述的超分辨率重建方法，其特征在于，所述基于特征融合后的非线性特征图和当前帧的线性特征图，得到当前帧的超分辨率重构图像包括：将特征融合后的非线性特征图和当前帧的线性特征图叠加并进行像素重排，再使用无激活函数的卷积核对像素重排后的图像进行像素修正，得到当前帧的超分辨率重构图像。

5.如权利要求1至4中任一项所述的超分辨率重建方法，其特征在于，还包括构建数据集；

所述构建数据集包括：

根据实时的运动数据，渲染在初始分辨率和目标分辨率下的输出录像，构建初始分辨率的数据集和目标分辨率的数据集，将初始分辨率的数据集和目标分辨率的数据集按照预定的比例划分为训练集和测试集。

6.如权利要求1至4中任一项所述的超分辨率重建方法，其特征在于，还包括训练网络模型；

所述训练网络模型包括：

利用训练集中初始分辨率和目标分辨率的图像数据，根据预设的损失函数计算损失值，在所述损失值和/或所述训练集的准确率和/或所述测试集的准确率达到预设标准时，完成所述网络模型的训练。

7.一种超分辨率重建方法，其特征在于，对用权利要求6所述的方法训练好的网络模型进行量化后，部署到硬件平台上，以实现目标功能。

8.一种超分辨率重建系统，其特征在于，包括网络模型构建模块；

所述网络模型构建模块包括：

线性特征提取模块，用于对当前帧进行线性特征提取，获得当前帧的线性特征图；

非线性特征提取模块，用于对当前帧和历史帧进行非线性特征提取和特征融合，获得特征融合后的非线性特征图；所述历史帧为所述当前帧的前N帧，其中，N为自然数；

图像处理模块，用于基于特征融合后的非线性特征图和当前帧的线性特征图，得到当前帧的超分辨率重构图像。

9.一种电子设备，其特征在于，包括权利要求8或9所述的超分辨率重建系统；

或者，所述电子设备包括：

处理器；

与所述处理器通信连接的存储器；

所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器能够执行权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求1至7中任一项所述的方法。