[发明专利]一种基于自适应可分离卷积的视频质量增强方法

权利要求书

1.一种基于自适应可分离卷积的视频质量增强方法，其特征在于：采用系统网络包括一自适应可分离卷积网络和一残差网络，自适应可分离卷积网络用于获取运动补偿帧，残差网络用于去除视频帧的压缩伪影；视频质量增强方法具体步骤如下：

步骤1，挑选高质量视频，形成视频数据库；

步骤2，对视频数据库进行预处理，形成训练数据集；训练数据集由若干个视频帧的配对集构成，其中表示压缩图像的当前帧，表示压缩图像后一帧，表示高清图像的当前帧，表示高清图像的后一帧，

步骤3，输入连续两张压缩的视频帧和利用可分离卷积网络，得到后一帧的预测压缩视频帧

步骤4,对自适应可分离卷积网络得到的预测压缩视频帧与训练集中对应的该帧的原始压缩图像和未压缩图像同时进行归一化和y通道处理，

步骤5,输入压缩的视频帧和预测压缩视频帧利用残差网络模型，得到预测高清视频帧

步骤6：基于预测压缩视频帧和预测高清视频帧计算总代价函数；

步骤7：基于总体代价函数不断更新并优化获得最优的卷积权值参数和偏置参数。

2.根据权利要求1所述的一种基于自适应可分离卷积的视频质量增强方法，其特征在于：步骤2具体包括以下步骤：

步骤2-1，根据最新的HEVC标准，设定质量系数qp，使用ffmpeg命令对原始视频进行压缩，使得每一个高清视频都有相对应的具有压缩伪影的视频；

步骤2-2，分别对高清视频和压缩视频进行抽帧，得到高清图像集和对应的压缩图像集；

步骤2-3，每次取压缩图像集中的两张连续的图像按d*d大小截取压缩视频帧和

步骤2-4，同时在高清图像集中取对应的两张图像执行相同操作，得到高清视频帧和形成若干个视频帧的配对集

步骤2-5，随机打乱配对集中的视频帧顺序，得到网络模型的训练数据集。

3.根据权利要求1所述的一种基于自适应可分离卷积的视频质量增强方法，其特征在于：可分离卷积神经网络包括五个编码模块、四个解码模块、一个分离卷积模块和一个图像预测模块。

4.根据权利要求3所述的一种基于自适应可分离卷积的视频质量增强方法，其特征在于：步骤3具体包括以下步骤：

步骤3.1,每个编码模块包括三个卷积层和一个平均池化层，

卷积层的计算公式是：

其中x_i,j表示图像的第i行第j列像素，w_m,n表示滤波器的第m行第n列权重，w_b表示滤波器的偏置项，a_i,j表示得到的特征图的第i行第j列像素，用f表示激活函数relu；

平均池化层的公式如下：

其中α_i表示所取邻域内第i个像素点的值，归一化之后α_i取值范围为0-1，N表示邻域内像素点的总个数；h_m表示取该邻域内所有像素点做池化操作后的结果；

步骤3.2,每个解码模块依次包含三个卷积层和一个双线性上采样层，最后一个编码模块的输出作为第一个解码模块的输入，之后则是上一个解码模块的输出作为下一个解码模块的输入；解码模块的卷积层的计算公式与编码模块的卷积层的计算公式一样；

双线性上采样层的计算过程如下：

步骤3.2.1,对于每张得到的特征图，要想得到未知函数f在点p＝(x,y)的值，首先在x方向进行线性插值，得到：

其中Q₁₁＝(x₁,y₁)，Q₁₂＝(x₁,y₂)，Q₂₁＝(x₂,y₁)，Q₂₂＝(x₂,y₂)为已知的四个点，f为双线性插值函数；

步骤3.2.2,对y方向进行线性插值：

这样就可以得到所要的插值结果：

得到要预测的像素点p＝(x,y)经过双线性插值函数f后特征图的中像素点的值，即f(x,y)；

步骤3.3,在解码器和编码器之间增加跳跃式连接：分别将第2,3,4,5个编码模块的第三层卷积层与对应的第4,3,2,1个解码模块的双线性上采样层采取跳跃式连接，将编码模块和解码模块的输出特征相加得到结合的特征；

步骤3.4,可分离卷积模块包括四个子网络，其中每个子网络由三个卷积层和一个双线性上采样层构成；具体步骤如下：

步骤3.4.1,将步骤3.1-3.3的输出展开成两个自适应卷积核以分别对连续两帧输入进行卷积操作：

其中K₁(x,y)和K₂(x,y)分别表示基于可分离卷积模型预测出来的两个二维卷积核，P₁(x,y)和P₂(x,y)表示两连续输入帧的像素值,*表示卷积操作；

步骤3.4.2,将每个二维自适应卷积核分别沿水平和垂直方向展开成2个一维卷积核K_{1_v}(x,y),K_{1_h}(x,y)和K_{2_v}(x,y),K_{2_h}(x,y)，得到四个自适应一维卷积核，

步骤3.4.3,两个一维卷积核的卷积可近似一个二维卷积核:

K₁(x,y)≈K_{1_h}(x,y)*K_{1_v}(x,y)

K₂(x,y)≈K_{2_h}(x,y)*K_{2_v}(x,y) (8)

步骤3.4.4,由分离卷积模块得到的这两组一维核k_{1_h},k_{1_v}和k_{2_h},k_{2_v}作为图像预测模块的卷积核，两组卷积核先后对输入的当前帧I₁和后一帧I₂进行卷积操作，最后得到的两者相加作为输出结果，其为后一帧的补偿图像；

步骤3.5，根据上式(7)(8)，由原始输入的当前帧图像P₁(x,y)、第二帧图像P₂(x,y)与自适应可分离卷积模块的输出的卷积核进行卷积操作得到图像预测模块得到的预测图像I_gt：

I_gt＝k_{1_h}(x,y)*k_{1_v}(x,y)*P₁(x,y)+k_{2_h}(x,y)*k_{2_v}(x,y)*P₂(x,y) (9)