[发明专利]基于矩阵分解网络的无监督高光谱图像超分辨率方法在审
申请号: | 202211694714.8 | 申请日: | 2022-12-28 |
公开(公告)号: | CN115861076A | 公开(公告)日: | 2023-03-28 |
发明(设计)人: | 刘建军;张静怡;金迪一;尚艳丽;杨金龙 | 申请(专利权)人: | 江南大学 |
主分类号: | G06T3/40 | 分类号: | G06T3/40;G06V10/80;G06V10/82 |
代理公司: | 哈尔滨市阳光惠远知识产权代理有限公司 23211 | 代理人: | 吕永芳 |
地址: | 214122 江苏*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 矩阵 分解 网络 监督 光谱 图像 分辨率 方法 | ||
1.一种高光谱图像超分辨率方法,其特征在于,所述高光谱图像超分辨率方法包括:
步骤1:对高光谱图像处理,生成模拟的低空间分辨率高光谱图像Y和高空间分辨率的多光谱图像Z,作为训练数据;
步骤2:将步骤1生成的数据对(Y,Z)输入自动编码器网络,训练迭代得到点扩散函数B和光谱响应函数R;
步骤3:对于目标高空间分辨率高光谱图像X,假设为末端成员矩阵和对应丰度矩阵的线性组合;将初始末端成员矩阵A0和初始丰度矩阵S0作为可训练参数,将步骤2中估计的B和R输入深度CP分解网络,通过深度CP分解网络求解期望末端成员矩阵A;
步骤4:结合步骤2中得到的点扩散函数B和光谱响应函数R,并结合退化模型和矩阵分解模型,对目标进行建模,设计正则项,通过网络展开迭代求解末端成员矩阵A和对应丰度矩阵S,最终得到融合的图像。
2.根据权利要求1所述的高光谱图像超分辨率方法,其特征在于,所述步骤2具体包括:
步骤2.1:所述低空间分辨率高光谱图像Y和高空间分辨率的多光谱图像Z的退化模型被分别建模为:
Z=RX+Nm,Y=XB+Nh
其中,Nm和Nh分别代表不同的信噪比,X代表目标高空间分辨率高光谱图像;
联立上面两个式子建模得到:ZB=RY,最终目标函数为:min||ZB-RY||;
步骤2.2:通过自动编码器网络来求解:
输入生成的数据对(Y,Z),随机初始化点扩散函数B和光谱响应函数R,B的width和height均为(2*ratio)-1,其中ratio为采样率,即两个数据空间分辨率大小之比,R的大小为(C,c),其中C代表高光谱数据的波段数,c代表多光谱数据的波段数,将B和R作为网络的可训练参数;
步骤2.3:将R作为卷积核,通过卷积形式实现张量乘法,同理应用于ZB,最终优化目标函数min||ZB-RY||,迭代求解Z1和Y1,其中,Z1和Y1是通过学习到的B和R二次退化得到的,对得到的Z1和Y1归一化处理,并保存B和R。
3.根据权利要求2所述的高光谱图像超分辨率方法,其特征在于,所述步骤3具体包括:
步骤3.1:根据矩阵分解模型:X=AS,建立目标函数:min||X-AS||,其中A代表末端成员矩阵,S代表对应的丰度矩阵;
步骤3.2:随机初始化末端成员矩阵A和丰度矩阵S,得到初始末端成员矩阵A0和对应的初始丰度矩阵S0,得到初始目标图像X0=A0S0;其中,A大小为(1,rank,H,W),其中rank为设定的CP秩,H和W为多光谱数据的长和宽,S大小为(C,rank,1,1),C为高光谱数据的波段数,将步骤2中得到的点扩散函数B和光谱响应函数R作为输入;
步骤3.3:将初始末端成员矩阵A0输入低秩张量生成模块LRTG,首先通过一个卷积Conv提取浅层特征,然后使用卷积Conv-ReLU-Conv来生成输入的特征图,空间核的大小为3x3,将提取得到的特征图输入深度CP分解模块,先分别在通道,高度和宽度维度上进行全局池化GAP,得到向量C1,C2,C3,三者进行Kroneckor乘积生成张量O,然后引入残差学习来学习不同频率的张量Oi(i=1,2…r):
对生成的Oi提取残差部分,看作是Oi无法恢复的高频信息;剩余部分再次由所述低秩张量生成模块LRTG处理以生成Oi+1(i=1,2…r);最后,进入低秩张量学习模块LRTL,给定预先定义的CP秩r,通过r次的低秩张量生成模块来生成r个张量{O1、O2、...Or},最后将所有生成的张量聚合为一个低秩张量,采用卷积层将堆叠张量聚合成期望的末端成员矩阵A。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于江南大学,未经江南大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211694714.8/1.html,转载请声明来源钻瓜专利网。