[发明专利]一种利用生成网络提高视频错误隐藏效果的方法

摘要

本发明公开了一种利用生成网络提高视频错误隐藏效果的方法。本发明基于H.264标准的错误隐藏技术的基础之上，通过构造一个CNN结构的网络G，将修复后16*16大小的宏块经过G处理以实现提高其PSNR的目的。另外我们在G网络中将输入图像直接映射到输出图像之前，将其与网络拟合的残差相加，得到最终的输出，值得注意的是本方法只针对H.264标准，不适合其他视频编码标准。本发明相能够使网络收敛更快，更快更好地得到训练结果。深度神经网络在图像处理中是高效的工具，在帧间隐藏技术基础上加入神经网络能提高修复后宏块的psnr值，使整张图片的质量更高，视频的错误隐藏效果也就越好。

主权项

一种利用生成网络提高视频错误隐藏效果的方法，其特征在于包括如下步骤：步骤1：根据FMO找到一张图像中丢失的宏块；步骤2：通过改进的边界匹配算法，选取最优的参考帧运动补偿块；步骤3：构造生成网络G，将经过错误隐藏的丢失宏块IE输入到神经网络中并训练，将原始的未损坏视频中的对应宏块IR与网络输出做对比，并将误差反向传播，在多次调整后得到最优的修复效果；步骤4：应用训练好的网络，将错误隐藏的宏块输入网络，得到高质量的宏块，并将处理过的宏块返回到对应帧当中，实现错误隐藏；步骤2所述的通过改进的边界匹配算法，选取最优的参考帧运动补偿块，具体实现如下：2‑1.选取参考帧；在H.264标准中编码器选取5个帧作为当前帧的参考帧，解码时缓存中也会存储当前帧的参考帧；从5个参考帧中选取两个参考帧并命名为第一、第二参考帧，分别在两个参考帧中找到使SAD最小的运动矢量mv1、mv2，比较这两个运动矢量对应的SAD1、SAD2，若SAD1小于SAD2则选取mv1为最优运动矢量；2‑2.选取运动矢量集；矢量集中包括：①当前帧中丢失宏块的上、下、左、右4个相邻宏块的运动矢量，4个相邻宏块运动矢量的均值和中值以及零运动矢量；②第一参考帧中与当前帧丢失宏块处在相同位置宏块的运动矢量以及其上、下、左、右4个相邻宏块运动矢量；③第二参考帧中与当前帧丢失宏块处在相同位置宏块其上、下、左、右4个相邻宏块运动矢量中值和均值；选取的运动矢量与丢失宏块的关联很大，且矢量集含有大量的运动矢量，得到最优的运动矢量的慨率很大；2‑3.找到运动矢量集中最优的运动矢量对应的运动补偿块；依据(1)式判断运动矢量是否为最优的：SADk＝min(DU+DD+DL+DR)  (1)其中k＝1、k＝2分别表示第一参考帧和第二参考帧，DU、DD、DL、DR分别代表丢失宏块与运动补偿块的上下左右外边界元素差值总和：DU=Σj=01Σi=x0x0+n-1|f(i,y0-1-j)-f(i+vx,y0-1-j+vy)′|---(2)]]>DD=Σj=01Σi=x0x0+n-1|f(i,y0+n+j)-f(i+vx,y0+n+j+vy)′|---(3)]]>DL=Σj=01Σi=y0y0+m-1|f(x0-1-j,i)-f(x0-1-j+vx,i+vy)′|---(4)]]>DR=Σj=01Σi=y0y0+m-1|f(x0+n+j,i)-f(x0+n+j+vx,i+vy)′|---(5)]]>其中m、n分别表示丢失宏块的长和高，当j＝0表示最邻近的一层外边界，当j＝1时表示第二层外边界，f(x,y)和f'(x,y)分别表示丢失宏块(x,y)点的像素值和参考帧对应宏块在(x,y)点的像素值；vx、vy分别表示运动矢量的水平分量和垂直分量；在遍历了所有的运动矢量之后，能找到一个使偏差(DU+DD+DL+DR)最小的最优运动矢量；2‑4.在最优运动矢量确定后，找到对应的匹配块；该匹配块是最优匹配块，若直接将其放回损坏帧中，所得到的图像的PSNR值要比零运动矢量算法和传统的边界匹配算法要高。