[发明专利]基于融合性卷积神经网络的RGB图像光谱反射率重建方法

说明书

本发明提供了一种基于融合性卷积神经网络的RGB图像光谱反射率重建方法，首先建立图像数据库，并批量进行图像预处理；然后利用图像数据库训练基于卷积神经网络的深度卷积模型，建立基于光谱非线性映射与空间相似性融合的重建方法；最后采集待重建的RGB图像，并对其进行预处理，将其输入卷积模型进行卷积神经网络特征提取，输出重建的光谱反射率，将重建结果反馈给用户，完成光谱反射率过程。本发明的有益效果是：避免了图像种类、图像大小、相机响应函数、光源光谱功率等因素对重建结果造成的影响，大幅度提高了模型训练时间，有效解决了因线性方法或外界因素影响从而导致重建精度不高的问题。

技术领域

本发明涉及视觉光谱反射率重建领域，尤其涉及一种基于融合性卷积神经网络的RGB图像光谱反射率重建方法。

背景技术

在数字化和计算机视觉迅猛发展的过程中，各种彩色印刷技术、图像重建技术得到了快速普及，丰富多样的颜色呈现在大众眼中，这些都需要准确的颜色表示方法来保证。光谱反射率指物体表面反射光通量与入射光通量的比值，是物体呈现不同颜色的本质原因，是物体表面的本质属性，同时是描述物体颜色最准确的方式，利用光谱反射率可得到物体在任意光照和观测条件下的颜色。传统获取物体表面光谱反射率的仪器设备主要有分光光度计、光谱扫描仪和多光谱相机，但由于测量速度慢、仪器效率低以及成本高昂等问题，限制了这些设备在实际中的应用。通过采集描述目标物体的色度参数，然后通过转换矩阵，将物体表面的色度参数转换为光谱反射率，而这种由色度参数转换得到的光谱反射率的方法叫做光谱反射率重建。彩色相机能够在不同的光照环境中对物体表面进行非接触式拍摄，获得物体表面的RGB图像信息，然后使用获得的RGB信息用来重建物体的反射率。

光谱反射率重建的研究对颜色科学等领域具有重要意义，随着计算机硬件的快速发展以及数据量的指数增长，深度学习技术特别是卷积神经网络能直接从图像数据中学习到数据的分布，已在图像分类、图像分割、目标检测、人脸识别等视觉任务中取得了成功，其准确率已经超越了传统线性方法。

发明内容

针对上述上述目前反射率重建精度不高、计算量大的技术问题，本发明提供了一种基于融合性卷积神经网络的RGB图像光谱反射率重建方法，首先建立图像数据库并对图像进行预处理，其次利用卷积神经网络的强大的图像特征提取能力，建立基于融合性卷积神经网络的RGB图像光谱反射率重建方法，最终，光谱CNN单元输出的无空间结构性信息的光谱反射率数据，与空间CNN单元输出的RGB图像中的空间相似性特征信息叠加，形成最终的光谱反射率数据。具体包括以下步骤：

S1：建立图像数据库，并对所述图形数据库中的所有图像进行批量预处理，所述图像数据库包括高光谱图像和RGB图像；

S2：根据从步骤S1所建立的图像数据库中获得训练数据集，训练光谱CNN卷积神经网络，建立图像与反射率之间的非线性映射模型，用于提取光谱CNN特征；

S3：利用图像与反射率之间的非线性映射模型输出的光谱CNN特征和RGB图像数据训练空间CNN卷积神经网络，建立空间相似性卷积模型，用于提取空间CNN相似性特征；

S4：采用融合性卷积神经网络方法，将图像与反射率之间的非线性映射模型和空间相似性卷积模型进行融合，得到深度卷积模型，用于同时获取光谱CNN特征和空间CNN相似性特征；

S5：采集待重建RGB图像，并对所述待重建RGB图像进行预处理，使用所述深度卷积模型进行光谱反射率重建，输出最后的光谱反射率。

进一步的，步骤S1中具体过程如下：

S1.1：收集图像，准备用于检索的图像数据库，并利用所述图像数据库中的图像组成实验数据集，所述实验数据集包括训练数据集和测试数据集；

S1.2：将所述图像数据库中的所有图像进行归一化和零均值化处理，以对整个图像数据消除该图像数据的均值。