[发明专利]一种基于生成式对抗神经网络的图像修复方法在审
申请号: | 202010073860.3 | 申请日: | 2020-01-22 |
公开(公告)号: | CN111292265A | 公开(公告)日: | 2020-06-16 |
发明(设计)人: | 杨帅;张治强;黄荣;韩芳;王直杰 | 申请(专利权)人: | 东华大学 |
主分类号: | G06T5/00 | 分类号: | G06T5/00;G06T5/50 |
代理公司: | 上海申汇专利代理有限公司 31001 | 代理人: | 徐俊 |
地址: | 201600 上*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 生成 对抗 神经网络 图像 修复 方法 | ||
1.一种基于生成式对抗神经网络的图像修复方法,其特征在于,包括以下步骤,
步骤一、对数据进行预处理,以满足神经网络对输入数据的要求,首先将图像的像素值放缩到(0,1)之间,然后将数据图像分辨率调整为128×128,对裁剪后的128×128的图像,分别制作四个掩膜矩阵来对图像进行人为损失,制作缺损图像,四个掩膜矩阵分别对应于修复图像的四个阶段;
步骤二、在获得步骤一处理的缺损图像后,使用生成网络的“编码器”中的生成卷积神经网络的卷积和池化操作对经过步骤一处理后的缺损程度最大图像进行特征提取得到深度特征图,再将特征图输入“解码器”中进行上采样,进而得到伪造图像;
步骤三、为了保证缺失区域修复后能够和周围保持一致性,采用两个判别网络,全局判别网络和局部判别网络,全局判别网络的输入是整张真实图像或者经过步骤二生成的伪造图像,判断输入图像为真实数据的可能性,局部判别网络的输入是局部真实图像或者步骤二生成伪造图像的局部,判断图像的局部为真实数据的概率,通过联合这两个判别网络来监督生成网络的训练,促使生成网络生成的伪造图像在整体和局部均与真实图像相似;
步骤四、将整个图像修复过程分为四个子阶段,在每个阶段只修复缺失区域的一部分,并通过LSTM将这几个子阶段连接起来,将经过步骤三判别后的伪造图像作为下一阶段生成网络的输入,重复步骤二至步骤四,同时通过LSTM将隐层特征的特征输入到下一阶段的隐层中,参与下一阶段的图像修复。
2.如权利要求1所述的基于生成式对抗神经网络的图像修复方法,其特征在于,所述的步骤一中,为了避免直接调整图像大小造成的图像失真和信息丢失,若图像的分辨率不是128×128,采取随机裁剪的方式从原图中取一块尺寸为128×128的局部区域图像作为训练图像。
3.如权利要求1所述的基于生成式对抗神经网络的图像修复方法,其特征在于,所述的步骤二中,编码器-解码器结构的卷积神经网络之间添加短接,将编码阶段的低层特征和解码阶段的特征进行融合。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于东华大学,未经东华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010073860.3/1.html,转载请声明来源钻瓜专利网。