[发明专利]视频处理方法和视频处理装置

说明书

本公开提供一种视频处理方法和视频处理装置。所述视频处理方法包括以下步骤：获取低分辨率视频的当前时刻的当前帧和与当前帧相邻的邻近帧；基于当前帧和邻近帧来获得针对当前帧的差分图像；根据差分图像来确定针对当前帧的时间注意力信息，其中，所述时间注意力信息表示所述当前帧相对于所述邻近帧所关注的图像特征信息；根据时间注意力信息和邻近帧来获得当前帧的超分辨率特征；并且基于超分辨率特征来生成当前帧的高分辨率图像。

技术领域

本公开涉及视频处理领域，尤其涉及一种用于超分辨率的视频处理方法和视频处理装置。

背景技术

实际需求中的视频数据主要分为单帧图像和视频序列。根据输入数据的不同，超分辨率(SR)可细分为单帧图像超分辨率(SISR)和视频超分辨率(VSR)两个方向。不同任务下的SR算法设计的侧重点也有所不同。SISR算法主要是基于单帧图像做超分辨率的方法，其目的是利用图像自身的自相似性信息和结构性信息来生成低分辨率图像到高分辨率图像所缺失的细节；而VSR算法是SISR算法在时间上的拓展方法，其需要同时考虑帧内的自相似性和帧间的时空互补信息来填充缺失细节。相较于SISR算法，VSR算法可利用时间上的互补信息来降低遮挡、光照、视差等外界因素对超分辨率效果的影响。因此，VSR技术被广泛地应用在画质增强的场景中，例如，将低分辨率视频重建为高分辨率视频，以为用户提供更佳视觉体验。

目前，当增强视频画质时，可使用神经网络(诸如循环卷积网络)来实现对视频帧的增强。例如，在使用循环卷积网络的情况下，循环卷积网络会复用历史的特征信息或者历史的输出结果来增强视频帧的信息。然而，当前特征与历史特征之间存在相关的信息和无关的信息，如果复用无关的信息，则会产生误差累积，导致增强后的视频画质劣化。

发明内容

本公开提供一种用于超分辨率的视频处理方法和视频处理装置，以至少解决上述提及的问题。

根据本公开实施例的第一方面，提供一种视频处理方法，所述视频处理方法可包括：获取低分辨率视频的当前时刻的当前帧和与所述当前帧相邻的邻近帧；基于所述当前帧和所述邻近帧来获得针对所述当前帧的差分图像；根据所述差分图像来确定针对所述当前帧的时间注意力信息，其中，所述时间注意力信息表示所述当前帧相对于所述邻近帧所关注的图像特征信息；根据所述时间注意力信息和所述邻近帧来获得所述当前帧的超分辨率特征；并且基于所述超分辨率特征来生成所述当前帧的高分辨率图像。

可选地，基于所述当前帧和所述邻近帧来获得针对所述当前帧的差分图像，可包括：基于所述当前帧和所述当前帧的前一时刻的邻近帧来计算所述差分图像。

可选地，根据所述差分图像来确定针对所述当前帧的时间注意力信息，可包括：根据所述当前帧的前一时刻的邻近帧的超分辨率特征和所述差分图像来计算针对所述当前帧的时间注意力信息。

可选地，根据所述当前帧的前一时刻的邻近帧的超分辨率特征和所述差分图像来计算针对所述当前帧的时间注意力信息，可包括：基于所述差分图像来获得所述当前帧与所述前一时刻的邻近帧之间的非差别图像，其中，所述非差别图像指示所述当前帧与所述前一时刻的邻近帧之间具有的相同特征区域；根据所述非差别图像和所述前一时刻的邻近帧的超分辨率特征来计算针对所述当前帧的时间注意力信息。

可选地，根据所述非差别图像和所述前一时刻的邻近帧的超分辨率特征来计算针对所述当前帧的时间注意力信息，可包括：对所述非差别图像进行下采样处理以得到下采样图像；对所述下采样图像中的像素进行加权处理以得到加权图像；对所述加权图像进行上采样处理以得到上采样图像；对所述上采样图像和所述前一时刻的邻近帧的超分辨率特征进行点乘运算来得到针对所述当前帧的时间注意力信息。

可选地，根据所述时间注意力信息和所述邻近帧来获得所述当前帧的超分辨率特征，可包括：对所述时间注意力信息、所述当前帧、所述当前帧的前一时刻的邻近帧和后一时刻的邻近帧进行拼接来得到针对所述当前帧的特征图；对所述特征图进行特征提取来获得所述当前帧的超分辨率特征。