[发明专利]一种基于禁忌优化的光谱建模样本集快速划分方法

说明书

本发明公开了一种基于禁忌优化的光谱建模样本集快速划分方法。该方法利用基于化学参考值加权的光谱数据2‑均值聚类模式获取定标样本和验证样本的初始划分，探索禁忌搜索方法的参数优化模式，对初始划分进行自适应快速优化，以定标集和验证集的部分样本互换的方式生成多个候选划分对象，将候选对象进行禁忌存储并逐个优化对比，并经过多次迭代以确定当前解的最优化结果。互换样本的数量、候选解的数量、禁忌表的长度和迭代次数等若干参数可调，实现针对样本集划分的智能化更新，最终输出迭代优化的样本集划分结果。针对优化划分结果进一步执行光谱预处理、特征提取、建模优化、模型预测和评价等计量分析操作，有利于提高光谱模型的预测能力。

技术领域

本发明涉及近红外、红外光谱分析中的建模优化领域，具体涉及建模过程中的一种基于禁忌优化的光谱建模样本集快速划分方法。

背景技术

光谱分析是一种快速定量检测物质成分含量的信息技术，它是根据不同频率的单色光照射物质后形成的光强变化量来测算物质中的特定化学成分，对物质不造成化学性破坏，具有耗时短、无试剂、多目标等技术操作特点。中红外(MIR)和近红外(NIR)区域的光谱应用特点尤为显著，能够很大程度地简化样本前处理过程，对于目标成分的预测主要依靠计量学建模手段来完成。随着信息技术的发展进入大数据时代，计量学方法的研究可以结合智能学习和深度优化模式，MIR和NIR光谱建模的预测能力有望取得进一步的提高。

针对光谱数据的计量学建模是以事件驱动和数据驱动相结合的方式进行，在过程上主要可以分为数据采集、样本划分、光谱预处理、建模优化、模型预测和模型传递等多个环节。在任何一个环节中提出新型的有效的计量学分析方法都有可能提高光谱建模能力，其中关于样本划分的技术改进并不多见。

样本划分是指光谱分析需要将所有目标样本数据划分为训练集(或称建模集)和测试集，而其中训练集又可以二次细分为定标集和验证集。光谱分析是基于定标集样本进行数据训练，执行参数调试，以此建立光谱定标模型；然后将定标模型应用到验证集样本，以实现对模型进行参数优选；进一步在测试集样本上对已确定的优化模型进行检验和评估。由于每个样本的成分含量信息各不相同，如何选择合适的样本进行定标和验证，是提高光谱建模预测能力的关键技术问题之一。

定标样本和验证样本选择通常是采用随机划分的方式。随着光谱大数据的来临，有必要研究样本集划分的自适应优化方法，实现对训练样本集的快速合理划分，以提高光谱建模预测能力。基于此，本发明提出一种基于禁忌优化的光谱建模样本集快速划分方法(简称禁忌优化样本划分方法，记为TOSA方法)，综合考虑样本的成分差异和光谱差异，首先利用加权距离的2-均值聚类方法进行定标样本和验证样本的初始划分，然后利用改进的禁忌搜索方法对初始划分进行优化，将定标集和验证集中的部分样本进行互换，生成多个候选划分对象，将候选对象进行禁忌存储并逐个优化对比，确定当前迭代的最优划分组合(即最优解)，经过多次迭代实现对当前解的优化。通过设定互换样本的数量、候选解的数量、禁忌表的长度和迭代次数，即可实现针对样本集划分的持续性优化，以数据驱动的方式寻找最优样本集划分结果，并最终输出，进一步执行光谱预处理、建模优化、模型预测和评价等环节，有利于提高光谱模型的预测能力。

发明内容

本发明是为近红外、红外光谱定量分析技术提供一种基于禁忌优化的光谱建模样本集快速划分方法，即TOSA方法。该方法能够针对不同的分析对象，快速自动地找到光谱训练样本集的合理划分方案，在光谱分析过程中实现模型优化。

本发明的基于禁忌优化的光谱建模样本集快速划分方法的具体步骤为：

步骤一，采用基于加权距离的2-均值聚类方法划分训练样本集(Cal)和验证样本集(Val)。将每个样本的光谱向量v_i(i＝1，2...n)视为高维空间中的数据点，以样本数据的加权欧式距离为指标计算所有n个样本两两之间的距离；加权欧式距离定义为