[发明专利]基于二阶段分组注意力残差机制的光谱图像压缩重建方法有效
申请号: | 202110270457.4 | 申请日: | 2021-03-12 |
公开(公告)号: | CN112990230B | 公开(公告)日: | 2023-05-09 |
发明(设计)人: | 秦翰林;乐阳;延翔;马琳;张嘉伟;梁毅;李莹;姚迪;杨硕闻;冯冬竹;周慧鑫 | 申请(专利权)人: | 西安电子科技大学 |
主分类号: | G06V10/46 | 分类号: | G06V10/46;G06V10/80;G06V10/82;G06N3/045;G06N3/0464;G06N3/08 |
代理公司: | 西安志帆知识产权代理事务所(普通合伙) 61258 | 代理人: | 侯峰;韩素兰 |
地址: | 710065 陕*** | 国省代码: | 陕西;61 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 阶段 分组 注意力 机制 光谱 图像 压缩 重建 方法 | ||
1.一种基于二阶段分组注意力残差机制的光谱图像压缩重建方法,其特征在于,该方法为:
通过色散棱镜对目标场景x进行色散,使其光谱信息在呈现出空间交错状态,利用编码矩阵M对色散的场景进行编码,并通过第二个色散棱镜反向色散,获得压缩压缩光谱观测量y;
所述压缩光谱观测量y与对应谱段的编码矩阵联合通过单层卷积进行特征提取得初始估计特征
所述初始估计特征通过3个形状为[C,256,1,1]的卷积得到3个形状为[128,H,W]降维卷积层;
所述3个形状为[128,H,W]降维卷积层分别经过单层形状为[256,1,1]的卷积核进行特征分组,获得3个形状为[128,H,W]的次级分组特征;
对所述3个形状为[128,H,W]的次级分组特征分别进行空间校正、融合,获得3个形状为[256,H,W]的中间特征;
具体为:对于次级分组特征分别经过相同的网络结构进行处理,将通过空间注意力模块(Spatial Attention Block,SAB)Block-l1得到空间校正输出s1′,然后使用残差连接的方式融合输入的特征得到并以串联的连接方式复用相同的结构模块Block-l2、Block-l3分别得到输出s2=s1+s′2、s3=s2+s3′,最后再次使用残差连接的方式融合输入的特征得到该分组的输出该过程可表示为如式(1)所示:
重复以上操作,分别得到3个分组输出联合3个分组输出,并通过单层形状为[768,256,3,3]的卷积对特征进行融合,并使用残差连接的方式融合输入得到输出该过程可表示为如式(2)所示:
所述形状为[256,H,W]的中间特征通过单层形状为[768,256,3,3]的卷积核进行卷积,获得形状为[256,H,W]的融合中间特征;
具体为:对分别重复以上的计算过程,分别得到3组特征输出然后使用单层形状为[768,256,3,3]的卷积对进行特征融合,得到形状为[256,H,W]的二级输入特征用以在网络的第二阶段进行光谱图像优化、校正与去噪,该过程可表示为如式(3)所示:
将所述形状为[256,H,W]的融合中间特征通过单层形状为[256,C,3,3]的卷积核得到最终优化重建结果
具体为:所述将所述形状为[256,H,W]的融合中间特征通过单层形状为[256,C,3,3]的卷积核得到最终优化重建结果,具体为:对二级输入特征进行单层卷积得到形状与一致的特征层并使用三个串联的残差通道注意力模块(ResidualChannel Attention Block,RCAB)依次进行光谱特征提取;
首先使用空间全局平均池化得到通道原始特征向量然后使用三层感知机FC对原始特征向量进行非线性映射,得到通道注意力校正向量vfix,最后使用向量vfix对输入特征层k1进行加权校正,得到校正后的特征层该过程可表示为如式(4)所示:
对于二级输入特征按顺序通过3个RCAB模块得到最终优化特征层kf,并使用残差连接融合二级输入特征得到深层特征最后使用一层形状为[512,C,3,3]的卷积层,得到最终的优化重建结果该过程可表示为如式(5)所示:
所述最终优化重建结果与标准数据集中的数据进行对照,以L1函数为目标进行网络训练与参数拟合。
2.根据权利要求1所述的基于二阶段分组注意力残差机制的光谱图像压缩重建方法,其特征在于,所述通过色散棱镜对目标场景x进行色散,使其光谱信息在呈现出空间交错状态,利用编码矩阵M对色散的场景进行编码,并通过第二个色散棱镜反向色散,获得压缩压缩光谱观测量y,具体为:可表示为如式(6)所示:
其中,C表示光谱数据立方体的总体谱段数,xi表示第i个谱段的光谱切片,Mi表示对第i个光谱切片进行调制的编码模板,N表示观测过程中引入的各类噪声。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西安电子科技大学,未经西安电子科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110270457.4/1.html,转载请声明来源钻瓜专利网。