[发明专利]一种基于卷积神经网络的极端条件下的图像修复方法有效

专利信息
申请号: 201910520242.6 申请日: 2019-06-17
公开(公告)号: CN110378845B 公开(公告)日: 2021-05-25
发明(设计)人: 颜成钢;王瑞海;杨洪楠;王兴政;孙垚棋;张继勇;张勇东 申请(专利权)人: 杭州电子科技大学
主分类号: G06T5/00 分类号: G06T5/00;G06N3/04;G06N3/08
代理公司: 杭州君度专利代理事务所(特殊普通合伙) 33240 代理人: 朱月芬
地址: 310018 浙*** 国省代码: 浙江;33
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 卷积 神经网络 极端 条件下 图像 修复 方法
【权利要求书】:

1.一种基于卷积神经网络的极端条件下的图像修复方法,其特征在于包括如下步骤:

步骤1:对获取到的短曝光图像进行预处理;

1-1.对于获取到的.RAW图像阵列,先按R、G、B三色素对像素进行分类;由于.RAW图像阵列中R、G、B的数量比为1:2:1,因此,将像素阵列分为4个通道;此时每个通道的空间分辨率为原始图像的一半;

1-2.对像素灰度值进行“归零”处理,使图像中像素的灰度值与光照强度呈线性关系;其具体过程为:

首先,将拍摄得到的图像进行检测,检测到该“归零”阈值为“512”;

其次,将图像中所有像素的灰度值减去该阈值;

最后,将图像中低于零的灰度值设置为零,高于零的灰度值保持不变;

步骤2:将预处理后的图像输入U-Net卷积神经网络进行训练;

2-1.通过端对端的方式对U-Net网络进行训练,以避免图像中噪声的放大和误差的累计;

2-2.在训练中,随机裁剪一个512×512的补丁用于训练,同时对裁剪的补丁随机进行翻转、旋转操作来增强训练数据;

步骤3:计算误差并进行迭代训练;

3-1.U-Net网络的输出为12通道,并且每个通道的空间分辨率为原始输入图像的一半;

3-2.对U-Net网络的输出进行亚像素卷积处理,以生成一幅与输入大小相同的图像;

3-3.以输入图像对应的长曝光图像作为参考图像,计算二者的L1范数损失函数;选择Adam算法作为网络的优化器;

步骤4:对训练模型进行评估,以图像的峰值信噪比和结构相似性作为最终结果的评判标准。

2.根据权利要求1所述的一种基于卷积神经网络的极端条件下的图像修复方法,其特征在于以.RAW数据作为输入,其形状为H×W×1,对输入数据进行打包,分为四个通道,打包后的形状为H/2×W/2×4;所述的图像阵列中的R、G、B像素等间隔均匀分布。

3.根据权利要求1所述的一种基于卷积神经网络的极端条件下的图像修复方法,其特征在于所述的U-Net卷积神经网络由10个卷积层、4个池化层和4个上采样层组成;其输入的图像为选取的512×512的补丁,并且经过了随机翻转和旋转变换;即输入网络的图像形状为:512×512×4,其卷积实现过程如下:

①第一层卷积:对输入图像使用32个大小为3×3×4的卷积核进行卷积,输出为512×512×32;

第一层池化:对卷积层的输出使用大小为2×2的模板进行max pooling,其输出为256×256×32;

②第二层卷积:对输入图像使用64个大小为3×3×32的卷积核进行卷积,输出为256×256×64;

第二层下池化:对卷积层的输出使用大小为2×2的模板进行max pooling,其输出为128×128×64;

③第三层卷积:对输入图像使用128个大小为3×3×64的卷积核进行卷积,输出为128×128×128;

第三层池化:对卷积层的输出使用大小为2×2的模板进行max pooling,其输出为64×64×128;

④第四层卷积:对输入图像使用256个大小为3×3×128的卷积核进行卷积,输出为64×64×256;

第四层池化:对卷积层的输出使用大小为2×2的模板进行max pooling,其输出为32×32×256;

⑤第五层卷积:对输入图像使用512个大小为3×3×256的卷积核进行卷积,输出为32×32×512;

⑥第一层上采样:对卷积层的输出使用256个大小为2×2×512的模板进行上采样,其输出为64×64×256;将输出与第四层卷积的输出进行组合,其最终输出为64×64×512;

第六层卷积:对输入图像使用256个大小为3×3×512的卷积核进行卷积,输出为64×64×256;

⑦第二层上采样:对卷积层的输出使用128个大小为2×2×256的模板进行上采样,其输出为128×128×128;将输出与第三层卷积的输出进行组合,其最终输出为128×128×256;

第七层卷积:对输入图像使用128个大小为3×3×256的卷积核进行卷积,输出为128×128×128;

⑧第三层上采样:对卷积层的输出使用64个大小为2×2×128的模板进行上采样,其输出为256×256×64;将输出与第二层卷积的输出进行组合,其最终输出为256×256×128;

第八层卷积:对输入图像使用64个大小为3×3×128的卷积核进行卷积,输出为256×256×64;

⑨第四层上采样:对卷积层的输出使用32个大小为2×2×64的模板进行上采样,其输出为512×512×32;将输出与第一层卷积的输出进行组合,其最终输出为512×512×64;

第九层卷积:对输入图像使用32个大小为3×3×64的卷积核进行卷积,输出为512×512×32;

⑩第十层卷积:对输入图像使用12个大小为3×3×32的卷积核进行卷积,输出为512×512×12。

4.根据权利要求2所述的一种基于卷积神经网络的极端条件下的图像修复方法,其特征在于将输入的四个通道经过多层特征提取后,最终输出为12通道。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州电子科技大学,未经杭州电子科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201910520242.6/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top