[发明专利]基于自适应反向投影深度学习的视频超分辨率方法及系统

权利要求书

1.一种基于自适应反向投影深度学习的视频超分辨率方法，其特征在于，包括：

获取待处理视频帧序列块；所述待处理视频帧序列块为多个；所述待处理视频帧序列块中包括一个参考帧和多个邻帧；

根据所述待处理视频帧序列块，采用光流估计方法和第一卷积层确定所述待处理视频帧序列块中每个邻帧的运动补偿邻帧特征，得到运动补偿邻帧特征集合；

采用多幅图像神经网络对所述运动补偿邻帧特征集合中每个邻帧的运动补偿邻帧特征进行放大，得到放大运动补偿邻帧特征集合；所述放大运动补偿邻帧特征集合中包括每个邻帧的放大运动补偿邻帧特征；

采用第二卷积层对所述参考帧进行特征提取，得到参考帧特征；

采用深度反向投影网络对所述参考帧特征进行放大，得到放大参考帧特征；

将所述放大参考帧特征与所述放大运动补偿邻帧特征集合中的一个邻帧的放大运动补偿邻帧特征作差，并采用残差神经网络对差值进行特征提取，得到差值特征；

根据所述参考帧特征，采用所述多幅图像神经网络确定注意力参数；

采用sigmoid函数对所述注意力参数进行标准化，得到标准化注意力参数；

所述差值特征点乘所述标准化注意力参数，然后再加上所述放大参考帧特征，得到隐藏特征；

将所述隐藏特征保存于列表中，并将所述隐藏特征采用解码器进行缩小，得到缩小隐藏特征，将所述缩小隐藏特征更新为参考帧特征，返回步骤“采用深度反向投影网络对所述参考帧特征进行放大，得到放大参考帧特征”，直到确定所述放大运动补偿邻帧特征集合中每个邻帧的放大运动补偿邻帧特征与所述放大参考帧特征差值对应的隐藏特征；

将所述列表中的隐藏特征进行拼接，并采用第三卷积层对拼接后的特征进行特征提取，得到超分辨率图像。

2.根据权利要求1所述的基于自适应反向投影深度学习的视频超分辨率方法，其特征在于，所述获取待处理视频帧序列块，之前还包括：

获取待处理视频帧序列；

将所述待处理视频帧序列按照时间顺序划分为多个视频帧序列块，得到待处理视频帧序列块；每个所述视频帧序列块中的视频帧个数相同。

3.根据权利要求1所述的基于自适应反向投影深度学习的视频超分辨率方法，其特征在于，所述根据所述待处理视频帧序列块，采用光流估计方法和第一卷积层确定所述待处理视频帧序列块中每个邻帧的运动补偿邻帧特征，得到运动补偿邻帧特征集合，具体包括：

采用光流估计方法估计所述待处理视频帧序列块中每个邻帧与参考帧间的光流图，得到光流图集合；所述光流图集合中包括多个光流图，所述光流图的个数和所述邻帧的个数相同；

根据所述待处理视频帧序列块和所述光流图集合，采用第一卷积层对每个所述邻帧进行运动补充，得到运动补偿邻帧特征集合。