[发明专利]一种利用生成网络提高视频错误隐藏效果的方法

权利要求书

1.一种利用生成网络提高视频错误隐藏效果的方法，其特征在于包括如下步骤：

步骤1：根据FMO找到一张图像中丢失的宏块；

步骤2：通过改进的边界匹配算法，选取最优的参考帧运动补偿块；

步骤3：构造生成网络G，将经过错误隐藏的丢失宏块IE输入到神经网络中并训练，将原始的未损坏视频中的对应宏块IR与网络输出做对比，并将误差反向传播，在多次调整后得到最优的修复效果；

步骤4：应用训练好的网络，将错误隐藏的宏块输入网络，得到高质量的宏块，并将处理过的宏块返回到对应帧当中，实现错误隐藏；

步骤2所述的通过改进的边界匹配算法，选取最优的参考帧运动补偿块，具体实现如下：

2-1.选取参考帧；

在H.264标准中编码器选取5个帧作为当前帧的参考帧，解码时缓存中也会存储当前帧的参考帧；从5个参考帧中选取两个参考帧并命名为第一、第二参考帧，分别在两个参考帧中找到使SAD最小的运动矢量mv1、mv2，比较这两个运动矢量对应的SAD1、SAD2，若SAD1小于SAD2则选取mv1为最优运动矢量；

2-2.选取运动矢量集；

矢量集中包括：

①当前帧中丢失宏块的上、下、左、右4个相邻宏块的运动矢量，4个相邻宏块运动矢量的均值和中值以及零运动矢量；

②第一参考帧中与当前帧丢失宏块处在相同位置宏块的运动矢量以及其上、下、左、右4个相邻宏块运动矢量；

③第二参考帧中与当前帧丢失宏块处在相同位置宏块其上、下、左、右4个相邻宏块运动矢量中值和均值；选取的运动矢量与丢失宏块的关联很大，且矢量集含有大量的运动矢量，得到最优的运动矢量的慨率很大；

2-3.找到运动矢量集中最优的运动矢量对应的运动补偿块；依据(1)式判断运动矢量是否为最优的：

SAD_k＝min(D_U+D_D+D_L+D_R)(1)

其中k＝1、k＝2分别表示第一参考帧和第二参考帧，D_U、D_D、D_L、D_R分别代表丢失宏块与运动补偿块的上下左右外边界元素差值总和：

DU=Σj=01Σi=x0x0+n-1|f(i,y0-1-j)-f(i+vx,y0-1-j+vy)′|---(2)]]>

DD=Σj=01Σi=x0x0+n-1|f(i,y0+n+j)-f(i+vx,y0+n+j+vy)′|---(3)]]>

DL=Σj=01Σi=y0y0+m-1|f(x0-1-j,i)-f(x0-1-j+vx,i+vy)′|---(4)]]>

DR=Σj=01Σi=y0y0+m-1|f(x0+n+j,i)-f(x0+n+j+vx,i+vy)′|---(5)]]>

其中m、n分别表示丢失宏块的长和高，当j＝0表示最邻近的一层外边界，当j＝1时表示第二层外边界，f_(x,y)和f'_(x,y)分别表示丢失宏块(x,y)点的像素值和参考帧对应宏块在(x,y)点的像素值；v_x、v_y分别表示运动矢量的水平分量和垂直分量；在遍历了所有的运动矢量之后，能找到一个使偏差(D_U+D_D+D_L+D_R)最小的最优运动矢量；

2-4.在最优运动矢量确定后，找到对应的匹配块；该匹配块是最优匹配块，若直接将其放回损坏帧中，所得到的图像的PSNR值要比零运动矢量算法和传统的边界匹配算法要高。

2.根据权利要求1所述的一种利用生成网络提高视频错误隐藏效果的方法，其特征在于步骤3具体实现如下：

3-1.构造一个CNN网络G；

将输入图像映射到网络中最后一个卷积层，然后将其与最后的卷积层元素相加，得到最后的输出；因此，接下来的一个卷积层和激活函数层所处理的并不是输入图像，而是原始宏块与输出宏块的残差；在第一个卷积层用64个大小为3*3的卷积核，将卷积核的步长设为1，得到64个特征图；接着经过激活层后构造残差板块，残差板块中含有十个残差网络结构，每一个结构中有六层，分别是卷积层、批量归一化层、激活函数层、卷积层、批量归一化层、元素相加层，每一次数据通过一个残差网络结构前，先将数据映射到残差网络结构中的元素相加层,将其与之前层拟合的残差进行元素相加；另外进入残差板块前，先将数据映射到残差板块后的元素相加层，将残差板块拟合的残差经过卷积和归一化之后与之元素相加；然后再将相加后的结果通过卷积，得到16*16*3的卷积层，将其与输入图象相加，从而得到输出；

3-2.定义损失函数L^G，该损失函数L^G所得结果是原始未损坏宏块I^R和经过网络处理后的宏块G(I^E)的均方误差，如式(6)所示：

lMSEG=1m′×n′Σx=1m′Σy=1n′(Ix,yR-GθG(IE)x,y)2---(6)]]>

其中，m′、n′分别表示输出宏块的长和高(这里m＝n＝16),和分别表示未损坏宏块在(x,y)点的像素值和经过网络处理后的宏块在(x,y)点的像素值；

3-3.根据损失函数反向传播误差调整网络参数θ_G，这里θ_G＝{W_1：L；b_1:L}表示一层的权重和偏移量，N表示网络中输入宏块的个数，即：

θ^G=argminθG1NΣn=1NlG(GθG(InE),InR)---(7)]]>

3-4.反复执行步骤3-2和3-3，直至误差变化率不变或小于设定阈值。