[发明专利]一种加速视频超分辨率重建的方法及装置

权利要求书

1.一种加速视频超分辨率重建的方法，其特征在于，包括以下步骤：

步骤1：获取视频源，放入缓冲区，从缓冲区提取数据片段，接着从数据片段中逐一取出帧数据，将帧数据送入硬件待解码数据缓冲区或是软件待解码数据缓冲区；

步骤2：软件解码线程和硬件解码线程分别将各自相应的缓冲区数据提取解码，并将解码结果和解码状态回传至缓冲区；

步骤3：验证解码状态并将解码结果从缓冲区输入到构建好的深度卷积网络，所述深度卷积神经网络的叠加层输出即为重建后的高分辨率视频数据，并重复步骤1、2选取相同或相近场景下的视频源组成的序列，构成高分辨率训练集；

所述深度卷积神经网络的训练过程包括：

步骤3.1：正向演练产生高分辨率视频源TB和低分辨率视频源TA，以组成数据集；

步骤3.2：预处理数据集，构建SRAGN或VDSR训练集；

步骤3.3：利用训练数据集合训练SRAGN或VDSR深度卷积神经网络，利用验证数据集合验证训练得到的SRAGN或VDSR深度卷积神经网络是否过拟合以及测试网络的性能，训练完成后，利用测试数据集测试最优的SRAGN或VDSR深度卷积神经网络的泛化能力；

步骤4：对高分辨率视频数据进行下采样和编码失真处理，产生并构成低分辨率训练集；

步骤5：将高低分辨率视频数据进行分块，并根据纹理结构的复杂性，将视频数据分为平坦块和粗糙块两类，收集到百万级别的视频数据作为深度学习网络的训练样本；

其中所述的视频数据分块及分类，其方法包含以下子步骤：

步骤5.1：将高、低分辨率视频数据均匀地划分成正方形图像块，低分辨率块尺寸为32×32像素，高分辨率块尺寸为32k×32k像素，其中k为2-4的整数；

步骤5.2：通过像素分布的一致性衡量图像内容复杂性，计算块内像素值的方差，方差超过预设门限的视为粗糙块，反之作为平坦块；

步骤6：利用平坦块训练内容简单的CNN网络sCNN，利用粗糙块训练内容复杂的CNN网络cCNN，从而编码重建时，内容简单的块使用sCNN网络，内容复杂的块使用cCNN网络；

步骤7：将重建的高分辨率视频数据进行拼接，并用滤波器改善拼接边缘的块效应，然后输出超分辨率重建视频。

2.根据权利要求1所述的一种加速视频超分辨率重建的方法，其特征在于，所述步骤1中，缓冲区设置有解码上下文表，通过解码上下文表读出属性信息，便于从数据片段中逐一取出帧数据。

3.根据权利要求1所述的一种加速视频超分辨率重建的方法，其特征在于，所述步骤4中，所述低分辨率训练集，其产生方法包括以下子步骤：

步骤4.1：对于高分辨率视频数据，将其宽度和高度均下采样k倍，得到低分辨率视频数据，其中k为2-4的整数；

步骤4.2：将低分辨率视频数据按H.264进行视频编码，每个像素的码率不低于1.98bps，得到压缩的低分辨率视频数据；

步骤4.3：将压缩的低分辨率视频数据按H.264进行解码，得到并构成低分辨率训练集。

4.根据权利要求1所述的一种加速视频超分辨率重建的方法，其特征在于，所述步骤6中的编码模式，包括帧内编码模式、帧间编码模式、跳过编码模式三种；

帧内编码模式下，宏块进一步细分为不同尺寸的子块编码，尺寸包括4×4、8×8和16×16；

帧间编码模式下，宏块进一步细分为不同尺寸的子块编码，尺寸包括4×4、4×8、8×4、8×8、8×16、16×8和16×16；

跳过编码模式下，整个16×16像素的宏块被跳过编码，不再细分。

5.一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4中任一所述的加速视频超分辨率重建方法。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的加速视频超分辨率重建方法。