[发明专利]基于神经网络的高分辨率图像复原方法及系统

说明书

本发明涉及一种基于神经网络的高分辨率图像复原方法及系统，包括：对网络输入中的目标帧进行特征提取，得到第一特征，并对第一帧及其相邻帧光流进行特征提取得到第二特征，将第一特征和第二特征进行级联，得到浅层特征；采用迭代式上下采样的方法对浅层特征进行特征提取和细化，得到多个输出第一特征和多个输出第二特征；对所述多个输出第二特征进行特征解码，将解码后的特征按通道维度进行级联，得到多次级联后的特征；对多次级联后的特征进行权重分配，得到最终特征，利用最终特征对图像进行复原。本发明可以有效帮助提高图像质量。

技术领域

本发明涉及图像复原的技术领域，尤其是指一种基于神经网络的高分辨率图像复原方法及系统。

背景技术

在现代生活中，高分辨率图像的需求非常普遍，在安防监视、医学成像、目标检测和人脸识别等众多领域都需要高分辨率图像或视频的支持。高分辨率图像复原技术通过低分辨率图像作为输入，在不需要其他信息的情况下生成对应的高分辨率图像，同时具有较好的主客观评价。如传统方法中的插值算法，它能够通过插值运算有效地提高图片的分辨率，但其主客观评价较差。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术中高分辨率图像的复原方法复杂，导致主客观评价较差的问题，从而提供一种方法简单，可提高对低分辨率图像质量的基于神经网络的高分辨率图像复原方法及系统。

为解决上述技术问题，本发明的一种基于神经网络的高分辨率图像复原方法，包括：对网络输入中的目标帧进行特征提取，得到第一特征，并对第一帧及其相邻帧光流进行特征提取得到第二特征，将第一特征和第二特征进行级联，得到浅层特征；采用迭代式上下采样的方法对浅层特征进行特征提取和细化，得到多个输出第一特征和多个输出第二特征；对所述多个输出第二特征进行特征解码，将解码后的特征按通道维度进行级联，得到多次级联后的特征；对多次级联后的特征进行权重分配，得到最终特征，利用最终特征对图像进行复原。

在本发明的一个实施例中，对网络输入中的目标帧进行特征提取时，采用1-2层卷积层对目标帧进行特征提取，得到第一特征；对第一帧及其相邻帧光流进行特征提取时，采用1-2层卷积层对低分辨率图像序列及其稠密光流中的第一帧、第一帧与第二帧的稠密光流、第二帧进行特征提取。

在本发明的一个实施例中，所述采用迭代式上下采样的方法对浅层特征进行特征提取和细化的判断方法为：判断浅层特征是否有相邻帧未计算，若是，则将得到的一个输出第一特征与下一帧及其相邻帧光流的特征进行特征级联，作为下一次迭代的输入，不断循环迭代，直到所有的输入帧都经过计算为止，若否，进入步骤S3。

在本发明的一个实施例中，迭代式上下采样时，单次上下迭代的过程包含：第一卷积层、第一反卷积层、第二卷积层、第二反卷积层、第三卷积层、第三反卷积层。

在本发明的一个实施例中，所述第一卷积层和第一反卷积层采用相同的卷积核、步长、以及通道数；第二卷积层和第二反卷积层采用相同的卷积核、步长、以及通道数；第三卷积层和第三反卷积层采用相同的卷积核、步长、以及通道数。

在本发明的一个实施例中，所述第一卷积层的输入为浅层特征，第一反卷积层的输入为第一卷积层的结果，第二卷积层的输入为第一反卷积层的结果与浅层特征的差，第二反卷积层的输入为第二卷积层的结果，第三卷积层的输入为第二反卷积层的结果，第三反卷积层的输入为第三卷积层的结果与第二反卷积层的结果的差。

在本发明的一个实施例中，迭代式上下采样的数量根据对网络大小的需求调整。

在本发明的一个实施例中，所述采用迭代式上下采样的时，保存每次迭代得到的输出第二特征。

在本发明的一个实施例中，利用最终特征对图像进行复原时，采用1-2层反卷积层。