[发明专利]一种基于KNN的近红外异常光谱识别方法

说明书

本发明公开了一种基于KNN的近红外异常光谱识别方法，以针对近红外光谱分析中，异常光谱数据的存在严重影响到光谱分析模型的准确性和可靠性的问题。方法步骤包括：选择相似性度量、选择超参数k、计算光谱间距离度量、找出k最短距离样本、计算样本异常度量、样本按异常度量排序、识别和剔除异常度量高样本。本发明主要用于构建近红外光谱分析模型的中异常光谱的识别和剔除。

技术领域

本发明涉及一种基于KNN的近红外异常光谱识别方法。

背景技术

异常值是指和大多数数据模式不一致的观测样本值。异常值识别对于任何基于经验数据的研究都是不可或缺的部分。在近红外光谱分析等许多现实的应用场合，数据不但含噪声干扰还包含异常数据，导致所得出的模型出现极大的偏差。异常光谱的存在等训练数据集质量问题，已经成为改善近红外光谱分析模型性能的关键和瓶颈。在基于近红外光谱分析的品质参数检测中，异常数据包括异常光谱数据和所预测的品质参数的异常测量值。品质参数一般是一维数据，低维数据的异常值识别相对简单，现有方法可以很好的完成，本章节不作分析研究。而高维的异常光谱数据的识别，是具有挑战性的问题，仍然是近红外光谱分析中值得重点关注和研究的环节，也是本章所要研究的内容。

有研究指出日常数据中异常值出现的概率大概有1% 到15%。数据中异常值的出现通常有两种原因。一种是因为实验性错误；另一种是由于少数几个对象的独特特征。同样，近红外光谱分析中，异常光谱可能来源于测量背景异常变化，仪器噪声增加，操作错误等，也有可能源于少数测试样本自身的异常。

在近红外光谱分析中，异常光谱数据的存在严重影响到光谱分析模型的准确性和可靠性。异常光谱数据影响正确的回归模型的构建以及模型参数准确估计，从而影响预测结果的准确性。使用鲁棒的回归分析模型和方法，可以使回归模型在一定程度上减少异常值的影响并尽量代表大多数的数据，但无法完全消除异常值的负面影响。因此在光谱数据分析之前检测和识别异常光谱很重要。异常值识别是构建高质量的回归预测模型的最重要步骤之一。

由于异常光谱识别的重要性，已成为大部分近红外光谱分析研究中一个重要步骤。当前的许多光谱分析方面的研究，通过绘制光谱图，然后由人工去分析和识别异常光谱。这种人工识别方式虽然简单直观，但效率低下，且只能识别出的少量的特别明显的异常光谱，多数异常光谱在大量光谱遮盖下不易发现。有些研究中使用了如基于马氏距离，杠杆值，残差，主成分分析等方法识别异常光谱。

基于马氏距离和杠杠值等识别异常值的传统方法的不可靠和局限性，数十年前在统计领域就被清楚认识到。马氏距离要求样本数大于等于数据维度，这对于许多近红外光谱分析的场合都不能满足。杠杆值计算不但要求样本数不小于数据维度，而且要求数据矩阵满秩，比马氏距离计算的条件更为严格。

基于回归残差的异常值识别，依赖于正确的回归预测模型的构建。而异常光谱数据的存在，又会妨碍回归模型的正确构建，导致参数估计偏离，得到扭曲的预测结果。并且回归残差也依赖于所预测品质参数测量值的准确性，即品质参数的异常值和误差也会严重影响残差的大小。这些因素都会导致基于回归残差的异常光谱识别的不可靠。而且，基于回归残差的异常值识别，只适合于检测训练数据集中的异常光谱，而无法检测预测数据集中的异常光谱，因为预测数据集中的真实的品质参数值是未知的。然而预测光谱数据集中的异常值检测也很重要。

基于马氏距离，杠杆值，残差等的异常值识别方法的不可靠，主要的原因是由于异常值的存在，会扭曲异常值识别方法的度量。异常值相互之间存在浸没（Swamping）效应和掩蔽（Masking）效应。浸没效应是指正常数据也被误判为异常数据。掩蔽效应是指由于其他异常值的遮蔽，使一些异常值被误认为是正常数据。数据集中异常数据数量越多，这两种效应也会越明显和严重。

发明内容

发明目的：

本发明的目的就是为了解决异常光谱数据影响近红外定量分析模型的性能的问题，准确而全面的更好识别并剔除异常光谱，从而改善近红外定量分析预测模型的准确性和可靠性，提高模型的预测精度。