[发明专利]一种基于卷积神经网络的极端条件下的图像修复方法有效
申请号: | 201910520242.6 | 申请日: | 2019-06-17 |
公开(公告)号: | CN110378845B | 公开(公告)日: | 2021-05-25 |
发明(设计)人: | 颜成钢;王瑞海;杨洪楠;王兴政;孙垚棋;张继勇;张勇东 | 申请(专利权)人: | 杭州电子科技大学 |
主分类号: | G06T5/00 | 分类号: | G06T5/00;G06N3/04;G06N3/08 |
代理公司: | 杭州君度专利代理事务所(特殊普通合伙) 33240 | 代理人: | 朱月芬 |
地址: | 310018 浙*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 卷积 神经网络 极端 条件下 图像 修复 方法 | ||
1.一种基于卷积神经网络的极端条件下的图像修复方法,其特征在于包括如下步骤:
步骤1:对获取到的短曝光图像进行预处理;
1-1.对于获取到的.RAW图像阵列,先按R、G、B三色素对像素进行分类;由于.RAW图像阵列中R、G、B的数量比为1:2:1,因此,将像素阵列分为4个通道;此时每个通道的空间分辨率为原始图像的一半;
1-2.对像素灰度值进行“归零”处理,使图像中像素的灰度值与光照强度呈线性关系;其具体过程为:
首先,将拍摄得到的图像进行检测,检测到该“归零”阈值为“512”;
其次,将图像中所有像素的灰度值减去该阈值;
最后,将图像中低于零的灰度值设置为零,高于零的灰度值保持不变;
步骤2:将预处理后的图像输入U-Net卷积神经网络进行训练;
2-1.通过端对端的方式对U-Net网络进行训练,以避免图像中噪声的放大和误差的累计;
2-2.在训练中,随机裁剪一个512×512的补丁用于训练,同时对裁剪的补丁随机进行翻转、旋转操作来增强训练数据;
步骤3:计算误差并进行迭代训练;
3-1.U-Net网络的输出为12通道,并且每个通道的空间分辨率为原始输入图像的一半;
3-2.对U-Net网络的输出进行亚像素卷积处理,以生成一幅与输入大小相同的图像;
3-3.以输入图像对应的长曝光图像作为参考图像,计算二者的L1范数损失函数;选择Adam算法作为网络的优化器;
步骤4:对训练模型进行评估,以图像的峰值信噪比和结构相似性作为最终结果的评判标准。
2.根据权利要求1所述的一种基于卷积神经网络的极端条件下的图像修复方法,其特征在于以.RAW数据作为输入,其形状为H×W×1,对输入数据进行打包,分为四个通道,打包后的形状为H/2×W/2×4;所述的图像阵列中的R、G、B像素等间隔均匀分布。
3.根据权利要求1所述的一种基于卷积神经网络的极端条件下的图像修复方法,其特征在于所述的U-Net卷积神经网络由10个卷积层、4个池化层和4个上采样层组成;其输入的图像为选取的512×512的补丁,并且经过了随机翻转和旋转变换;即输入网络的图像形状为:512×512×4,其卷积实现过程如下:
①第一层卷积:对输入图像使用32个大小为3×3×4的卷积核进行卷积,输出为512×512×32;
第一层池化:对卷积层的输出使用大小为2×2的模板进行max pooling,其输出为256×256×32;
②第二层卷积:对输入图像使用64个大小为3×3×32的卷积核进行卷积,输出为256×256×64;
第二层下池化:对卷积层的输出使用大小为2×2的模板进行max pooling,其输出为128×128×64;
③第三层卷积:对输入图像使用128个大小为3×3×64的卷积核进行卷积,输出为128×128×128;
第三层池化:对卷积层的输出使用大小为2×2的模板进行max pooling,其输出为64×64×128;
④第四层卷积:对输入图像使用256个大小为3×3×128的卷积核进行卷积,输出为64×64×256;
第四层池化:对卷积层的输出使用大小为2×2的模板进行max pooling,其输出为32×32×256;
⑤第五层卷积:对输入图像使用512个大小为3×3×256的卷积核进行卷积,输出为32×32×512;
⑥第一层上采样:对卷积层的输出使用256个大小为2×2×512的模板进行上采样,其输出为64×64×256;将输出与第四层卷积的输出进行组合,其最终输出为64×64×512;
第六层卷积:对输入图像使用256个大小为3×3×512的卷积核进行卷积,输出为64×64×256;
⑦第二层上采样:对卷积层的输出使用128个大小为2×2×256的模板进行上采样,其输出为128×128×128;将输出与第三层卷积的输出进行组合,其最终输出为128×128×256;
第七层卷积:对输入图像使用128个大小为3×3×256的卷积核进行卷积,输出为128×128×128;
⑧第三层上采样:对卷积层的输出使用64个大小为2×2×128的模板进行上采样,其输出为256×256×64;将输出与第二层卷积的输出进行组合,其最终输出为256×256×128;
第八层卷积:对输入图像使用64个大小为3×3×128的卷积核进行卷积,输出为256×256×64;
⑨第四层上采样:对卷积层的输出使用32个大小为2×2×64的模板进行上采样,其输出为512×512×32;将输出与第一层卷积的输出进行组合,其最终输出为512×512×64;
第九层卷积:对输入图像使用32个大小为3×3×64的卷积核进行卷积,输出为512×512×32;
⑩第十层卷积:对输入图像使用12个大小为3×3×32的卷积核进行卷积,输出为512×512×12。
4.根据权利要求2所述的一种基于卷积神经网络的极端条件下的图像修复方法,其特征在于将输入的四个通道经过多层特征提取后,最终输出为12通道。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于杭州电子科技大学,未经杭州电子科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910520242.6/1.html,转载请声明来源钻瓜专利网。