[发明专利]一种基于RGB光谱超分辨技术的高光谱点云生成方法

权利要求书

1.一种基于RGB光谱超分辨技术的高光谱点云生成方法，其特征在于，包括以下步骤：

S1：获取多帧RGB图像数据；

S2：构建多层回归神经网络模型，用于在RGB图像数据中重建高光谱图像数据集；

S3：将高光谱图像数据集重建出稀疏点云模型，并将稀疏点云模型进行无畸变处理，生成无畸变图像；

S4：将稀疏点云模型和无畸变图像作为输入，构建稠密点云模型；

S5：将稠密点云模型进行配准，并将稠密点云网格化处理；

S6：将网格化处理后的稠密点云进行纹理重建，得到高光谱点云。

2.根据权利要求1所述的一种基于RGB光谱超分辨技术的高光谱点云生成方法，其特征在于，在步骤S1中，其获取多帧RGB图像数据的方法具体为搭建移动传感设备进行图像采集，得到多帧RGB图像数据，多帧RGB图像数据包括GNSS坐标和波段名称，GNSS坐标和波段名称被存储在图像的元数据中。

3.根据权利要求2所述的一种基于RGB光谱超分辨技术的高光谱点云生成方法，其特征在于，在步骤S2中，所述多层回归神经网络模型由4级网络架构组成，在训练过程中，训练数据集使用包含成对RGB和高光谱图像的自采数据集及NTIRE 2020的公开数据集；Y表示高光谱图像，X表示RGB图像，对于每个像素点p，其RGB强度X_c(p)和光谱反射率Y(p，λ)之间的关系如下：

式中，B表示波段数量，λ为波长，Y∈R^N×B，X∈R^N×3都是矩阵，N为像素数，S∈R^B×3表示光谱响应函数，因此也表示为：

X＝YS

由该式得到，光谱重建过程看作为从X到Y的逆映射；

构建的4层网络架构用于从RGB图像中重建高光谱图像；多层回归神经网络模型中采用残差密集块和残差块用于减少真实图像的伪影，在最后一层附加了1×1的卷积块来增强色彩映射，在顶层使用集成特征并减少伪影，生成高质量的高光谱图像；在整个网络架构中，除了输出层之外，所有层均使用LeakyReLU激活函数，权重由Xavier算法进行初始化；

在训练过程中，使用L₁损失函数对网络进行优化，L₁被定义如下：

式中，x表示RGB图像，y表示真实的高光谱图像，G(*)表示多层递归网络；

利用L₁经过多次迭代过程，训练出拟合能力好的网络模型；将移动传感设备拍摄得到的RGB图像输入到已经训练好的多层回归神经网络模型中，生成高光谱图像数据集。

4.根据权利要求3所述的一种基于RGB光谱超分辨技术的高光谱点云生成方法，其特征在于，在步骤S3中，所述运动恢复结构算法包括以下步骤：

S31：从高光谱图像集中定位并提取元数据，其元数据包括相机型号、图像尺寸、投影类型、朝向、GNSS坐标、拍摄时间、焦距比和频段名称；

S32：通过SIFT算法对元数据进行特征检测，构建特征点描述符；

S33：之后利用特征点矩形邻域内像素的光谱信息，通过归一化互相关系数来进行特征点匹配，得到图像匹配对；

S34：对于每个图像匹配对计算对极几何，通过RANSAC算法优化改善匹配对，特征点在匹配对中链式地传递下去，得到重构性最强，异常值最少的初始化图像对；

S35：采用增量式重建算法，选择重构性最强，异常值最少的初始化图像对，执行迭代操作逐渐将其他图像加入到重建中，在每次迭代中，使用光束平差法最小化投影误差，并且根据重建中已经存在的相似点的数量选择图像，直到所有的图像都被加入，完成稀疏点云模型的重建。