[发明专利]视频处理方法和视频处理装置

权利要求书

1.一种视频处理方法，其特征在于，所述视频处理方法包括：

获取低分辨率视频的当前时刻的当前帧和与所述当前帧相邻的邻近帧；

基于所述当前帧和所述邻近帧来获得针对所述当前帧的差分图像；

根据所述差分图像来确定针对所述当前帧的时间注意力信息，其中，所述时间注意力信息表示所述当前帧相对于所述邻近帧所关注的图像特征信息；

根据所述时间注意力信息和所述邻近帧来获得所述当前帧的超分辨率特征；并且

基于所述超分辨率特征来生成所述当前帧的高分辨率图像。

2.根据权利要求1所述的视频处理方法，其特征在于，基于所述当前帧和所述邻近帧来获得针对所述当前帧的差分图像，包括：

基于所述当前帧和所述当前帧的前一时刻的邻近帧来计算所述差分图像。

3.根据权利要求1所述的视频处理方法，其特征在于，根据所述差分图像来确定针对所述当前帧的时间注意力信息，包括：

根据所述当前帧的前一时刻的邻近帧的超分辨率特征和所述差分图像来计算针对所述当前帧的时间注意力信息。

4.根据权利要求3所述的视频处理方法，其特征在于，根据所述当前帧的前一时刻的邻近帧的超分辨率特征和所述差分图像来计算针对所述当前帧的时间注意力信息，包括：

基于所述差分图像来获得所述当前帧与所述前一时刻的邻近帧之间的非差别图像，其中，所述非差别图像指示所述当前帧与所述前一时刻的邻近帧之间具有的相同特征区域；

根据所述非差别图像和所述前一时刻的邻近帧的超分辨率特征来计算针对所述当前帧的时间注意力信息。

5.根据权利要求4所述的视频处理方法，其特征在于，根据所述非差别图像和所述前一时刻的邻近帧的超分辨率特征来计算针对所述当前帧的时间注意力信息，包括：

对所述非差别图像进行下采样处理以得到下采样图像；

对所述下采样图像中的像素进行加权处理以得到加权图像；

对所述加权图像进行上采样处理以得到上采样图像；

对所述上采样图像和所述前一时刻的邻近帧的超分辨率特征进行点乘运算来得到针对所述当前帧的时间注意力信息。

6.根据权利要求1所述的视频处理方法，其特征在于，根据所述时间注意力信息和所述邻近帧来获得所述当前帧的超分辨率特征，包括：

对所述时间注意力信息、所述当前帧、所述当前帧的前一时刻的邻近帧和后一时刻的邻近帧进行拼接来得到针对所述当前帧的特征图；

对所述特征图进行特征提取来获得所述当前帧的超分辨率特征。

7.根据权利要求6所述的视频处理方法，其特征在于，对所述时间注意力信息、所述当前帧、所述当前帧的前一时刻的邻近帧和后一时刻的邻近帧进行拼接来得到针对所述当前帧的特征图，包括：

按照表示像素的通道将所述当前帧、所述前一时刻的邻近帧、所述后一时刻的邻近帧和时间注意力信息的相同位置处的像素的通道进行拼接，以得到由多通道表示的所述特征图。

8.一种视频处理装置，其特征在于，所述视频处理装置包括：

获取模块，被配置为获取低分辨率视频的当前时刻的当前帧和与所述当前帧相邻的邻近帧；

特征提取模块，被配置为：基于所述当前帧和所述邻近帧来获得针对所述当前帧的差分图像；根据所述差分图像来确定针对所述当前帧的时间注意力信息，其中，所述时间注意力信息表示所述当前帧相对于所述邻近帧所关注的图像特征信息；根据所述时间注意力信息和所述邻近帧来获得所述当前帧的超分辨率特征；以及

生成模块，被配置为基于所述超分辨率特征来生成所述当前帧的高分辨率图像。

9.一种电子设备，其特征在于，包括：

至少一个处理器；

至少一个存储计算机可执行指令的存储器，

其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1到7中的任一项权利要求所述的视频处理方法。

10.一种存储指令的计算机可读存储介质，其特征在于，当所述指令被至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1到7中的任一项权利要求所述的视频处理方法。