[发明专利]结合马尔科夫转移场和迁移学习的近红外定量建模方法

说明书

本发明公开了一种结合马尔科夫转移场（Markov transfer field，MTF）和迁移学习的近红外定量建模方法，包括近红外光谱基线漂移校正；对近红外光谱数据增强；对数据集进行划分；结合马尔科夫转移场将一维光谱转换为二维光谱图像；将深度神经网络从图像分类任务修改为定量回归；对回归任务下的深度神经网络模型进行迁移学习来获得近红外定量网络模型。本发明首次将一维近红外光谱转换为MTF图像后，结合迁移学习训练获得特定任务下的预测精度高的近红外定量预测模型。

技术领域

本发明属于化学计量学算法创新技术领域，尤其涉及一种结合马尔科夫转移场和迁移学习的近红外定量建模方法。

背景技术

近红外光谱产生于分子振动，吸收峰较弱且存在严重重叠，多组分复杂样品的近红外光谱往往不是各组分光谱的简单叠加，必须借助化学计量学技术进行定性定量分析。传统上构建近红外化学计量学模型，需要进行滤波来降低光谱中的噪声，然而在使用滤波平滑光谱时，难免使一些光谱信息隐藏或消失，这使得构建的近红外光谱模型鲁棒性弱，预测结果精度偏低。

卷积神经网络具有平移不变性，在计算机视觉领域的不断发展鼓励了深度学习在光谱图像中的应用。已有研究人员将光谱转图像进行模式识别研究，但是直接将一维光谱转换成二维图像作为卷积神经网络的输入，往往不能保留波长间的相关性，导致光谱信息丢失。

在图像任务中，最普遍和突出的问题是有标注的图像样本数据较少，使神经网络的训练并不充分，出现网络过拟合问题。另外，标注工作枯燥费时费力，增加了训练成本。

发明内容

本发明为了解决上述技术问题，提供了一种结合马尔科夫转移场和迁移学习的近红外定量建模方法，来解决光谱图像信号丢失和训练大型深度网络困难的问题。

本发明通过马尔科夫转移场将一维近红外光谱数据进行编码，转换为二维图像，保留了光强在波长间的相关性和光谱特征信息；基于对预训练的大型神经分类网络进行修改，使网络模型根据实际需求适应新的任务；通过迁移学习方法，将用于特征提取的卷积层冻结，自适应训练全连接层，既能减少网络训练成本，也能获得精度准确的迁移网络模型。

为解决上述技术问题，本发明所采用的技术方案是：

结合马尔科夫转移场和迁移学习的近红外定量建模方法，具体包括以下步骤：

(1)对近红外光谱进行基线漂移校正；

(2)对近红外光谱进行数据增强，得到扩充样本后的数据集；

(3)对数据集进行划分；

(4)将扩充样本后的数据集中的一维光谱转换为马尔科夫转移场图像；

(5)改进图像分类任务下的深度神经网络模型；

(6)利用迁移学习以冻结卷积层的方式微调改进后的深度神经网络模型。

本发明技术方案的进一步改进在于：所述步骤(1)中，对近红外光谱采取乘性散射校正(MSC)，消除光谱间的基线漂移现象。计算式如下：

/

其中，为求得所有光谱数据的平均值；k_i和b_i分别为求解最小二乘问题得到每个样本的基线平移和偏移量；data_i(MSC)为校正后的光谱；i，j分别为样本数和波长点数。

本发明技术方案的进一步改进在于：所述步骤(2)中，包括对近红外光谱数据采用斜率-偏差线性映射进行数据增强：计算所有光谱数据的标准差std，设定若干斜率值K，则新生成的光谱为：K*光谱值+0.3std。这种方法基本模拟了光谱仪随工作时间增长而出现的采集偏移。