[发明专利]基于深度学习的多摄像头高光谱成像方法、系统及介质

权利要求书

1.一种基于深度学习的多摄像头高光谱成像方法，其特征在于实施步骤包括：

1)分别获取彩色摄像头和灰度摄像头针对同一成像目标获取的彩色图像和灰度图像；

2)将彩色图像和灰度图像输入到已训练完成的迭代反投影高光谱重建网络，得到所述成像目标的高光谱图像，所述迭代反投影高光谱重建网络通过训练建立了彩色图像、灰度图像两种输入数据和高光谱图像一种输出数据之间的映射关系；

步骤2)之前还包括构建迭代反投影高光谱重建网络的步骤，详细步骤包括：S1)根据彩色摄像头的光谱响应特性构建彩色反投影网络模块，所述彩色反投影网络模块用于将重建的高光谱图像投影到原彩色空间并计算与输入彩色图像的误差以提取彩色图像的光谱特征；根据灰度摄像头的光谱响应特性构建灰度反投影网络模块，所述灰度反投影网络模块用于将重建的高光谱图像投影到原灰度空间并计算与输入灰度图像的误差以提取灰度图像的光谱特征；S2)利用彩色反投影网络模块、灰度反投影网络模块构建迭代反投影高光谱重建网络，所述迭代反投影高光谱重建网络用于融合彩色反投影网络模块、灰度反投影网络模块的不同层的特征提升重建效果；

步骤S1)中构建的彩色反投影网络模块包括：

第一特征堆叠层，用于将输入的彩色图像的t个阶段的特征进行堆叠；

第一精馏卷积层，用于将对堆叠得到的特征进行高维特征压缩得到精馏特征；

第一恢复卷积层，用于对精馏特征恢复出高光谱图像；

RGB光谱采样层，用于对恢复出的高光谱图像光谱采样重建彩色图像；

第一求差模块，用于将重建的彩色图像减去输入的彩色图像得到重建误差；

第一上采样卷积层，用于对重建误差进行光谱上采样得到误差上采样特征；

第一微调卷积层，用于对误差上采样特征进行微调；

第一求和模块，用于将微调后的误差上采样特征、精馏特征求和得到最终的输出特征；

步骤S1)中构建的灰度反投影网络模块包括：

第二特征堆叠层，用于将输入的灰度图像的t个阶段的特征进行堆叠；

第二精馏卷积层，用于将对堆叠得到的特征进行高维特征压缩得到精馏特征；

第二恢复卷积层，用于对精馏特征恢复出高光谱图像；

灰度光谱采样层，用于对恢复出的高光谱图像光谱采样重建灰度图像；

第二求差模块，用于将重建的灰度图像减去输入的灰度图像得到重建误差；

第二上采样卷积层，用于对重建误差进行光谱上采样得到误差上采样特征；

第二微调卷积层，用于对误差上采样特征进行微调；

第二求和模块，用于将微调后的误差上采样特征、精馏特征求和得到最终的输出特征；

步骤S2)中利用彩色反投影网络模块、灰度反投影网络模块构建的迭代反投影高光谱重建网络包括：

彩色图像特征提取与光谱上采样模块，用于对输入的彩色图像进行特征提取与光谱上采样；

灰度图像特征提取与光谱上采样模块，用于对输入的灰度图像进行特征提取与光谱上采样；

反投影汇聚单元，所述反投影汇聚单元包括一个或多个重复的子单元，所述子单元包括一个彩色反投影网络模块、一个灰度反投影网络模块以及一个用于将彩色反投影网络模块、灰度反投影网络模块输出的彩色光谱特征、灰度光谱特征进行增强汇聚的特征汇聚模块，所述彩色反投影网络模块的输入为彩色图像特征提取与光谱上采样模块的输出或者上一个子单元的输出，所述灰度反投影网络模块的输入为灰度图像特征提取与光谱上采样模块的输出或者上一个子单元的输出，彩色反投影网络模块、灰度反投影网络模块的输出作为对应子单元的特征汇聚模块的输入，且该特征汇聚模块的输出构成该子单元的输出；

输出卷积层，用于将最末端的子单元输出的特征生成最终的高光谱图像。

2.根据权利要求1所述的基于深度学习的多摄像头高光谱成像方法，其特征在于，步骤2)之前还包括训练迭代反投影高光谱重建网络的步骤，详细步骤包括：分别利用彩色摄像头、灰度摄像头的光谱响应特性生成训练数据集，通过训练数据集训练构建得到的迭代反投影高光谱重建网络优化网络参数得到训练完成的迭代反投影高光谱重建网络。