[发明专利]基于深度学习的多摄像头高光谱成像方法、系统及介质

说明书

本发明公开了一种基于深度学习的多摄像头高光谱成像方法、系统及介质，本发明多摄像头高光谱成像方法包括：根据彩色摄像头的光谱响应特性构建彩色反投影网络模块，根据灰度摄像头的光谱响应特性构建灰度反投影网络模块，利用彩色反投影网络模块、灰度反投影网络模块构建迭代反投影高光谱重建网络，分别获取彩色摄像头和灰度摄像头针对同一成像目标获取的彩色图像和灰度图像；将彩色图像和灰度图像输入到已训练完成的迭代反投影高光谱重建网络，得到所述成像目标的高光谱图像。本发明能够有效保证成像质量，大大缩减高光谱成像时间，无需额外辅助装置或硬件，极大地提升了高光谱成像的便捷性，具有广泛的应用场景。

技术领域

本发明涉及高光谱成像方法，具体涉及一种基于深度学习的多摄像头高光谱成像方法、系统及介质，其获取的高光谱成像可用于皮肤疾病辅助诊断、农业病虫害识别、农产品药物残留检测、日用产品真伪鉴别。

背景技术

高光谱图像通常包含几十上百个光谱波段，具有丰富的差异性光谱信息，已被广泛应用于遥感地物分类、医疗辅助诊断、农业病虫害识别、农产品药物残留检测、日用产品真伪鉴别等领域。然而，受成像元件、传感器技术限制，目前的高光谱成像设备往往具有成像时间慢、体积大、携带不方便等缺点。而现有的便携式高光谱成像方案如多镜头多光谱成像系统、手机电动旋转式多光谱成像组件等往往需要昂贵的成像装置或辅助硬件，很难做到无辅助硬件条件下的高光谱成像，极大地限制了这些方案的适用范围。因此，充分挖掘现有便携式成像设备(如智能手机)的光谱响应特性，实现无辅助硬件条件下的便捷高光谱成像，能极大促进相关高光谱应用的落地，具有十分重要的意义。

发明内容

本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于深度学习的多摄像头高光谱成像方法、系统及介质，本发明能够有效保证成像质量，大大缩减高光谱成像时间，无需额外辅助装置或硬件，极大地提升了高光谱成像的便捷性，具有广泛的应用场景。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于深度学习的多摄像头高光谱成像方法，实施步骤包括：

1)分别获取彩色摄像头和灰度摄像头针对同一成像目标获取的彩色图像和灰度图像；

2)将彩色图像和灰度图像输入到已训练完成的迭代反投影高光谱重建网络，得到所述成像目标的高光谱图像，所述迭代反投影高光谱重建网络通过训练建立了彩色图像、灰度图像两种输入数据和高光谱图像一种输出数据之间的映射关系。

可选地，步骤2)之前还包括构建迭代反投影高光谱重建网络的步骤，详细步骤包括：S1)根据彩色摄像头的光谱响应特性构建彩色反投影网络模块，所述彩色反投影网络模块用于将重建的高光谱图像投影到原彩色空间并计算与输入彩色图像的误差以提取彩色图像的光谱特征；根据灰度摄像头的光谱响应特性构建灰度反投影网络模块，所述灰度反投影网络模块用于将重建的高光谱图像投影到原灰度空间并计算与输入灰度图像的误差以提取灰度图像的光谱特征；S2)利用彩色反投影网络模块、灰度反投影网络模块构建迭代反投影高光谱重建网络，所述迭代反投影高光谱重建网络用于融合彩色反投影网络模块、灰度反投影网络模块的不同层的特征提升重建效果。

可选地，步骤S1)中构建的彩色反投影网络模块包括：

第一特征堆叠层，用于将输入的彩色图像的t个阶段的特征进行堆叠；

第一精馏卷积层，用于将对堆叠得到的特征进行高维特征压缩得到精馏特征；

第一恢复卷积层，用于对精馏特征恢复出高光谱图像；

RGB光谱采样层，用于对恢复出的高光谱图像光谱采样重建彩色图像；

第一求差模块，用于将重建的彩色图像减去输入的彩色图像得到重建误差；

第一上采样卷积层，用于对重建误差进行光谱上采样得到误差上采样特征；