[发明专利]一种基于生成对抗网络的双目场景图像修复方法

说明书

本发明属于图像修复技术领域，具体涉及一种基于生成对抗网络的双目场景图像修复方法。该方法包括以下步骤：（1）采集场景的双目视觉图像，制作训练样本集和测试样本集；（2）构建生成对抗网络模型；（3）采用训练样本集训练生成对抗网络模型进，优化生成对抗网络参数，得到训练后生成对抗网络；（4）采用测试样本集测试所有训练后的生成网络，选择最优生成网络模型；（5）使用最优生成网络模型对受损图像进行实时修复。本发明的图像修复方法以同帧不同视角的相机图像作为先验信息来辅助受损图像修复，引入额外的有效约束，与现有方法的修复效果对比，本方法得到的修复图像更加真实、自然。

技术领域

本发明属于图像修复技术领域，具体涉及一种基于生成对抗网络的双目场景图像修复方法。

背景技术

随着机器人系统、自动驾驶的火热发展，双目系统的应用日益广泛，车载的双目相机系统能够更好的获取有效数据图像信息，用于感知车辆各个方向的环境及异常变化，对车辆的控制决策起着至关重要的作用，是自动驾驶能够顺利落地的重要保障。而视觉信息在采集、编码、压缩、传输、解压和解码过程中，信息丢失或信息受到噪声干扰容易造成图像异常。图像修复技术可以利用图像中受损区域周围的结构、纹理等先验信息来复原损坏区域，减少信息的丢失，为机器的感知和决策提供尽可能丰富的信息。

现有的单视角传统图像修复方法，其基于受损其余的纹理结构或基于图像像素的空间分布来修复受损图像，修复结果具有混乱的人工修饰痕迹，即使修复结果使人眼看不出图像受损，其修复的内容跟目标修复图像相比也有较大差异。

发明内容

针对现有技术存在的问题和不足，本发明的目的是提供一种基于生成对抗网络的双目场景图像修复方法。

为实现发明目的，本发明采用的技术方案如下：

一种基于生成对抗网络的双目场景图像修复方法，包括以下步骤：

(1)采集场景的双目视觉图像，根据采集的双目视觉图像制作训练样本集和测试样本集；

采集场景的左视角图像和右视角图像，根据采集的图像制作训练样本集和测试样本集；

(2)构建生成对抗网络模型；

(3)采用训练样本集对步骤(2)构建的生成对抗网络模型进行训练，优化生成对抗网络的参数，得到训练后生成对抗网络；

(4)采用测试样本集对所有训练后生成对抗网络中的生成网络进行测试，评价生成网络的图像修复性能，选择最优生成网络模型；

(5)使用步骤(4)得到的最优生成网络模型对受损图像进行实时修复。

根据上述的方法，优选地，步骤(1)的具体操作为：

(1a)采集原始图像：使用双目相机采集n个场景的双目视觉图像，得到了 n对双目视觉图像，将n对双目视觉图像调整至相同大小，然后按照视角不同进行划分，其中，一对双目视觉图像中的左视角图像放入左视角文件夹，右视角图像放入右视角文件夹，并将左视角文件夹和右视角文件夹中的图像按照采集时间先后顺序依次从1到n进行编号；

(1b)制作损坏图像：从编号1至编号n，每次以50％的概率从左视角文件夹或右视角文件夹中选择对应编号的图像，然后在选中的图像上增加占该图像面积30％及以上的随机纯色图像块，得到损坏图像；每张损坏图像都保留其原始图像作为该损坏图像的标签图像；

(1c)划分训练样本集和测试样本集：将每张损坏图像和与损坏图像编号相同的另一视角图像组成1对样本，共有n对样本，将n对样本按照4:1的比例随机划分为训练样本集和测试样本集。