[发明专利]一种基于工作流的振动光谱分析模型优化方法

说明书

本发明公开了一种基于工作流的振动光谱分析模型优化方法。初始化确定振动光谱分析模型的评价参数和振动光谱分析模型的优化对象，将预处理方法和多元分析方法进行排列组合得方法组合；计算各个方法组合下的超参数和对应的超参数空间组合；将训练集分别输入到各个方法组合，优化计算确定方法组合的最优超参数；将训练集分别输入训练得到模型参数，由此获得各个组合模型；将测试集输入各个组合模型，计算各个组合模型的评价参数，选出最优模型。本发明建立了工作流程，避免了繁琐的人工操作和主观判断，更充分地利用了并行计算资源，提供了传统光谱分析软件不具备的新的系统模型优化方式。

技术领域

本发明涉及光谱分析领域的一种模型优化处理方法，尤其是涉及了一种基于工作流的振动光谱分析模型优化方法。

背景技术

现代光谱分析技术因其方便快捷、低成本、无污染等优势逐渐成为农业、医药、石油等产业的产品无损检测主流技术之一。由于各类生物系统的复杂性与差异性，振动光谱往往含有许多噪声成分，其所提供的信息往往不能被直观地观察到，因此需要使用各类多元分析方法搭配合适的预处理技术对光谱数据进行建模分析。不同的多元分析方法分别适用于不同类别的光谱数据和预测指标，各类预处理技术也具有这样的特点。在实际生产中，往往需要利用多个算法构成组合模型，并对其超参数进行优化选择，才能找到合适的建模方法。而庞大的超参数范围和算法间的高耦合度导致模型的优化难度大大提升，需要消耗大量的人力和计算资源才能找到最佳模型。同时，随着光谱采集手段的进步，用于研究分析的光谱数据量增加迅速，海量的数据对模型的构建提出了新的挑战。传统的基于特定领域背景知识，人为反复试验优化超参数的方法由于效率较低，且由于存在较强的主观性可能难以选到最优超参数，已逐渐无法适应针对大量光谱数据的高效建模和优化的需求。目前已有的各类光谱分析软件能够利用特定的分析方法快速建模，但没有提供模型的超参数优化和多个模型之间的性能比较的方便高效的工作流程。因此，特别需要开发一种针对振动光谱分析的模型优化的工作流程。

发明内容

针对振动光谱分析的模型超参数优化和多模型性能比较过于繁琐，缺乏系统的工作流程的问题，本发明的目的在于设计提供一种基于工作流的振动光谱分析模型优化方法，通过交叉验证和网格搜索来提供高效的工作流程。

本发明的目的是通过以下技术方案来实现的：

所述振动光谱分析模型包括预处理方法和多元分析方法，振动光谱分析模型是主要由预处理方法和多元分析方法的两个步骤依次实施构成，针对振动光谱分析模型采用以下步骤进行优化处理获得最优的振动光谱分析模型：

振动光谱分析模型中，输入的原始光谱数据先通过预处理方法进行基线校正、散射校正、平滑滤波和归一化等操作，再利用一种或多种多元分析方法对预处理方法后的光谱数据进行建模分析输出结果。对于定性分析，采用分类算法作为多元分析方法建模分析输出预测标签；对于定量分析，采用回归算法作为多元分析方法建模分析输出预测值。

步骤1)：初始化确定振动光谱分析模型的评价参数和振动光谱分析模型的优化对象，振动光谱分析模型的优化对象包括所要优化和比较的预处理方法、各个预处理方法需要优化的超参数及其对应的超参数空间、所要优化和比较的多元分析方法、各个多元分析方法需要优化的超参数及其对应的超参数空间；

步骤2)：将所述步骤1)中的各个预处理方法和各个多元分析方法进行排列组合，获得所有可能的方法组合；

选取所有预处理方法中的一种或者多种或者不选，再结合上多元分析方法中的一种或多种。

步骤3)：根据所述步骤2)获得的所有可能的方法组合和所述步骤1)中各个预处理方法需要优化的超参数及其对应的超参数空间与各个多元分析方法需要优化的超参数及其对应的超参数空间，计算各个方法组合下的超参数和对应的超参数空间组合；

步骤4)：将输入的振动光谱数据划分为训练集和测试集；