[发明专利]基于自适应反向投影深度学习的视频超分辨率方法及系统

说明书

本发明涉及一种基于自适应反向投影深度学习的视频超分辨率方法及系统，包括：根据待处理视频帧序列块确定运动补偿邻帧特征；采用多幅图像神经网络得放大运动补偿邻帧特征集合；采用第二卷积层得参考帧特征；采用深度反向投影网络得放大参考帧特征；将放大参考帧特征与邻帧的放大运动补偿邻帧特征作差，对差值特征提取得差值特征；根据参考帧特征确定标准化注意力参数；差值特征点乘标准化注意力参数加上放大参考帧特征得隐藏特征；将隐藏特征保存于列表中；将缩小隐藏特征更新为参考帧特征，重复上述步骤，直到确定每个邻帧的隐藏特征；将列表中的隐藏特征拼接，采用第三卷积层得超分辨率图像。通过本发明上述方法能有效提升视频图像的重建结果。

技术领域

本发明涉及视频处理技术领域，特别是涉及一种基于自适应反向投影深度学习的视频超分辨率方法及系统。

背景技术

近年来，随着高清显示设备的普及，低分辨率视频无法满足现有的高清显示设备的需求，视频超分辨技术作为一种低成本获得高清视频的技术，受到了很多关注。视频超分辨率的目标是用低分辨率图像或视频帧序列恢复出图像中丢失的细节，从而获得高分辨率图像或视频帧。

现有的反向投影方法在反馈过程中没有判别性，不能有效地区分有用的和无用的特征信息，从而影响了视频重建结果。

发明内容

本发明的目的是提供一种基于自适应反向投影深度学习的视频超分辨率方法及系统，在视觉注意力模型的约束下，反向投影的反馈过程中能够有效地提取有用的特征信息，从而有效地提升视频图像的重建结果。

为实现上述目的，本发明提供了如下方案：

一种基于自适应反向投影深度学习的视频超分辨率方法，包括：

获取待处理视频帧序列块；所述待处理视频帧序列块为多个；所述待处理视频帧序列块中包括一个参考帧和多个邻帧；

根据所述待处理视频帧序列块，采用光流估计方法和第一卷积层确定所述待处理视频帧序列块中每个邻帧的运动补偿邻帧特征，得到运动补偿邻帧特征集合；

采用多幅图像神经网络对所述运动补偿邻帧特征集合中每个邻帧的运动补偿邻帧特征进行放大，得到放大运动补偿邻帧特征集合；所述放大运动补偿邻帧特征集合中包括每个邻帧的放大运动补偿邻帧特征；

采用第二卷积层对所述参考帧进行特征提取，得到参考帧特征；

采用深度反向投影网络对所述参考帧特征进行放大，得到放大参考帧特征；

将所述放大参考帧特征与所述放大运动补偿邻帧特征集合中的一个邻帧的放大运动补偿邻帧特征作差，并采用残差神经网络对差值进行特征提取，得到差值特征；

根据所述参考帧特征，采用所述多幅图像神经网络确定注意力参数；

采用sigmoid函数对所述注意力参数进行标准化，得到标准化注意力参数；

所述差值特征点乘所述标准化注意力参数，然后再加上所述放大参考帧特征，得到隐藏特征；

将所述隐藏特征保存于列表中，并将所述隐藏特征采用解码器进行缩小，得到缩小隐藏特征，并将所述缩小隐藏特征更新为参考帧特征，返回步骤“采用深度反向投影网络对所述参考帧特征进行放大，得到放大参考帧特征”，直到确定所述放大运动补偿邻帧特征集合中每个邻帧的放大运动补偿邻帧特征与所述放大参考帧特征差值对应的隐藏特征；

将所述列表中的隐藏特征进行拼接，并采用第三卷积层对拼接后的特征进行特征提取，得到超分辨率图像。

可选的，所述获取待处理视频帧序列块，之前还包括：

获取待处理视频帧序列；