[发明专利]基于卷积神经网络的单帧散射图像的彩色目标重建方法有效
申请号: | 202010684668.8 | 申请日: | 2020-07-16 |
公开(公告)号: | CN111563562B | 公开(公告)日: | 2021-01-19 |
发明(设计)人: | 韩静;柏连发;张毅;赵壮;郭恩来;孙岩;朱硕;崔倩莹;顾杰;师瑛杰;戚浩存;左苇;吕嫩晴 | 申请(专利权)人: | 南京理工大学 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06K9/46;G06N3/04;G06N3/08;G06T5/00;G06T7/90 |
代理公司: | 南京苏创专利代理事务所(普通合伙) 32273 | 代理人: | 张艳 |
地址: | 210094 *** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 卷积 神经网络 散射 图像 彩色 目标 重建 方法 | ||
1.一种基于卷积神经网络的单帧散射图像的彩色目标重建方法,其特征在于:包括如下步骤:
步骤1、建立散斑采集的光学系统,光学系统采集隐藏在散射介质后的单帧彩色目标散斑图像,得到若干目标的散斑数据集;
步骤2、构建基于卷积神经网络的单帧散射图像的彩色目标重建模型CASNet;
步骤3、将ALOI数据集中对应的彩色目标数据集与散斑数据集输入步骤2构建的单帧散射图像的彩色目标重建模型CASNet进行训练,得到训练好的彩色目标重建模型,具体为,
彩色目标重建模型CASNet训练中采用均方误差MSE作为主要的损失函数,同时使用结构相似性SSIM来约束重建结果的整体结构,共同为网络优化方向提供指导,网络损失函数Loss表示为
(1)
其中为用于平衡MSE与SSIM的权重因子;
将对应的彩色目标数据集与散斑数据集输入步骤2构建的单帧散射图像的彩色目标重建模型CASNet进行训练,符合光学记忆效应ME约束的小目标构成已知超出光学记忆效应ME范围的大目标,
(2)
式中,为构成目标的第个子目标,为其对应的系统点扩散函数,为最终形成的散斑图像;对于卷积神经网络,上式表示的光学逆过程是可解的;光学记忆效应ME范围内彩色目标与最终散斑间的关系表示为
(3)
式中,表示第个波段,由此推知,上式表示的逆问题由合理设计的CASNet卷积神经网络求出对应的解,进一步考虑ME范围外的彩色目标重建问题,表示为
(4)
上式表示的彩色目标重建问题可通过步骤3CASNet卷积神经网络的合理训练求得最优解;
步骤4、将采集到的单帧彩色目标散斑图像输入训练好的彩色目标重建模型得到恢复的彩色目标。
2.根据权利要求1所述的基于卷积神经网络的单帧散射图像的彩色目标重建方法,其特征在于:步骤1建立的散斑采集的光学系统选用无透镜光学系统,使用投影仪来投射目标,经过散射介质调制后,最终在工业相机上形成宽光谱下的散斑图像。
3.根据权利要求1所述的基于卷积神经网络的单帧散射图像的彩色目标重建方法,其特征在于:步骤2构建的基于卷积神经网络的单帧散射图像的彩色目标重建模型CASNet,所述卷积神经网络包括编码Encoder和解码Decoder,所述编码Encoder分为三个通道,分别用于提取原始散斑图像RGB三个通道的信息,Encoder完成特征提取后将高维特征送入解码Decoder来实现最终的目标重建,输出尺寸为256*256的三通道图像。
4.根据权利要求3所述的基于卷积神经网络的单帧散射图像的彩色目标重建方法,其特征在于:所述高维特征提取方法为:通过卷积层的卷积操作提取特征,在CASNet卷积神经网络的反向传播过程中不断迭代更新来得到目标的高维特征。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京理工大学,未经南京理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010684668.8/1.html,转载请声明来源钻瓜专利网。