[发明专利]基于深度学习的短视频超分辨率转换方法、装置及介质

权利要求书

1.一种基于深度学习的短视频超分辨率转换方法，其特征在于，包括以下步骤：

获取待超分辨率转换的短视频；

将待超分辨率转换的短视频输入到去噪网络先进行预设卷积运算，得到不同尺度大小的特征图像；

将所述不同尺度大小的特征图像进行元素相加融合，将融合后的特征图像输入到去噪网络的后续层中，得到去除噪声的短视频图像；

将所述去除噪声的短视频图像输入到嵌入注意力模块的超分辨率转换网络，得到画面提升的高分辨率短视频图像。

2.根据权利要求1所述的基于深度学习的短视频超分辨率转换方法，其特征在于，所述去噪网络和所述超分辨率转换网络均为训练好的网络。

3.根据权利要求1所述的基于深度学习的短视频超分辨率转换方法，其特征在于，所述注意力模块包括通道注意力模块和空间注意力模块。

4.根据权利要求3所述的基于深度学习的短视频超分辨率转换方法，其特征在于，所述将所述去除噪声的短视频图像输入到嵌入注意力模块的超分辨率转换网络，得到画面提升的高分辨率短视频图像，具体包括：

对所述去除噪声的短视频图像进行预设卷积运算，得到中间过程特征图像；

将所述中间过程特征图像分别输入到所述通道注意力模块和所述空间注意力模块，得到通道注意力特征图像和空间注意力特征图像；

将所述通道注意力特征图像和所述空间注意力特征图像采用元素相加的方式进行融合，得到通道注意力和空间注意力融合的特征图像；

将所述通道注意力和空间注意力融合的特征图像进行点乘运算，得到注意力加权后的特征图像；

将所述注意力加权后的特征图像输入到所述超分辨率转换网络的后续层中，最终得到画面提升的高分辨率短视频图像。

5.根据权利要求2所述的基于深度学习的短视频超分辨率转换方法，其特征在于，所述去噪网络和所述超分辨率转换网络的训练步骤为：

获取短视频训练样本，所述样本由同一拍摄场景下的高分辨率短视频和低分辨率短视频组成；

将所述低分辨率短视频输入到去噪网络中，得到去除噪声的短视频样本；

将所述去除噪声的短视频样本输入到嵌入注意力模块的超分辨率转换网络中进行训练，得到画面提升的高分辨率短视频图像；

根据所述超分辨率转换网络输出的高分辨率短视频图像和对应真实拍摄的高分辨率短视频图像之间的差异，调整所述去噪网络和所述嵌入注意力模块的超分辨率转换网络的参数；

当迭代次数达到预设次数时，终止训练。

6.根据权利要求3所述的基于深度学习的短视频超分辨率转换方法，其特征在于，所述通道注意力模块由多个自适应大小的卷积核和非线性运算层组成，所述空间注意力模块由多个大小为1*1的卷积核和非线性运算层组成。

7.一种基于深度学习的短视频超分辨率转换装置，其特征在于，所述装置包括：

获取模块，用于获取待超分辨率转换的短视频；

卷积模块，用于将待超分辨率转换的短视频输入到去噪网络先进行预设卷积运算，得到不同尺度大小的特征图像；

融合模块，用于将所述不同尺度大小的特征图像进行元素相加融合，将融合后的特征图像输入到去噪网络的后续层中，得到去除噪声的短视频图像；

超分辨率转换模块，包括注意力模块，用于将所述去除噪声的短视频图像输入到嵌入注意力模块的超分辨率转换网络，得到画面提升的高分辨率短视频图像。

8.根据权利要求7所述的基于深度学习的短视频超分辨率转换装置，其特征在于，所述装置还包括参数调整模块，根据所述超分辨率转换网络输出的高分辨率短视频图像和对应真实拍摄的高分辨率短视频图像之间的差异，调整参数。

9.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至6中任一项方法的步骤。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1至6中任一项方法的步骤。