[发明专利]视频超分辨率处理方法及装置

说明书

本申请实施例公开了一种视频超分辨率处理方法及装置，该方法包括：获取视频流中任一编码块的编码信息，根据编码信息包括的帧间预测标记确定任一编码块的帧间预测模式，并根据任一编码块的帧间预测模式和编码信息包括的匹配编码块索引所标识的匹配编码块的像素信息，确定任一编码块的超分辨率像素块，将视频流中属于同一图像帧的各个编码块的超分辨率像素块进行拼接得到超分辨率图像，该超分辨率图像用于生成超分辨率视频。采用本申请实施例，可以在保证视频中单帧图像的超分辨率处理效果的同时，降低功耗，减少视频中任意两帧图像的超分辨率处理时延。

技术领域

本申请涉及计算机技术领域，尤其涉及一种视频超分辨率处理方法及装置。

背景技术

通常，视频(或图像)的清晰度由图像的分辨率决定，低分辨率(low-resolution，LR)意味着图像的清晰度较低，高分辨率(high-resolution，HR)意味着图像的清晰度较高。要想获得高分辨率的视频源，最直接的方法就是采用高分辨率图像传感器，但在日常生活中高分辨率的视频源是极其缺乏的，且高分辨率视频源的存储和传输将会给当前的传输网络带来沉重负担。因此，人们提出了超分辨率(super-resolution，SR)技术，可以在现有的低分辨率视频源的基础上恢复出高分辨率的视频。超分辨率技术是通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率图像来得到一幅高分辨率图像的过程就是超分辨率重建。

目前，现有的图像超分辨率算法有很多，视频也可以拆解成单帧图像进行超分辨率处理。即从视频流中截取整张图像，在将截取到的整张图像经过卷积神经网络进行超分辨率处理，最后将超分辨率处理后的图像重新传至视频流中。由于图像超分辨率处理的效果与卷积神经网络模型的深度和规模成正相关关系，但卷积神经网络模型的深度和规模又受限于处理器(中央处理器(central processing unit，CPU)、图形处理器(graphicsprocessing unit，GPU)和/或嵌入式神经网络处理器(neural-network processing unit，NPU))的处理能力以及功耗。所以在保证图像超分辨率处理效果的同时，处理器运行超分辨率的卷积神经网络就需要进行大量的卷积运算，功耗也随着处理器计算量的增大而增加。另外，由于对视频的超分辨率处理可以拆解成对视频中每帧图像的超分辨率处理，而视频中每帧图像的像素数据量也较大，故处理器对每帧图像进行超分辨率处理时将会因为数据量大而导致处理所需时间较长，因此视频中任两帧图像的超分辨率处理时延也会随着处理器计算量的增大而增加。

发明内容

本申请实施例提供一种视频超分辨率处理方法及装置，可以在保证视频中单帧图像的超分辨率处理效果的同时，降低功耗，减少视频中任意两帧图像的超分辨率处理时延。

下面从不同的方面介绍本申请，应理解的是，下面的不同方面的实施方式和有益效果可以互相参考。

第一方面，本申请实施例提供一种视频超分辨率处理方法，该方法包括：首先，终端设备可以获取视频流中任一编码块的编码信息，该编码信息中可以包括参考图像帧索引、匹配编码块索引以及帧间预测标记。其次，终端设备可以根据该帧间预测标记确定该任一编码块的帧间预测模式，并可以根据该任一编码块的帧间预测模式和该匹配编码块索引所标识的匹配编码块的像素信息，确定该任一编码块的超分辨率像素块。最后，终端设备可以将该视频流中属于同一图像帧的各个编码块的超分辨率像素块进行拼接得到超分辨率图像，并可以将该视频流的各个图像帧的超分辨率图像整合成超分辨率视频输出。其中，一个编码块属于视频流中的一个图像帧，视频流中的一个图像帧包括多个编码块。上述匹配编码块索引所标识的匹配编码块为上述参考图像帧索引所标识的参考图像帧中与上述任一编码块的像素差异最小的编码块。上述任一编码块的超分辨率像素块为该任一编码块的像素信息经过超分辨率处理后得到的像素块。