[发明专利]基于随机采样一致集的谱图异常样本点检测方法

说明书

技术领域

本发明涉及化学计量学多元校正模型数据处理技术领域，特别涉及一种基于随机采样一致集的谱图异常样本点检测方法。

背景技术

随着现代分析仪器的发展，检测信号已由传统的单一数值变化为完整的谱图，甚至是图像。对于光谱数据，维数相对于采集的样本个数来说通常是很高的，此时校正回归问题严重病态，传统的一元单变量校正方法难以对这些数据进行分析，取而代之的是多元校正方法^[1]。化学计量学多元校正技术直接利用测量信号，通过降维、特征提取、特征变换以及多元回归技术建立光谱信号与样品浓度之间的定量模型，以实现定量分析。

然而，经典的多元校正方法，如多元线性回归、主成分回归、偏最小二乘回归^[2-3]通常特别易受异常样本点的影响。一般地，与数据集中大部分样本相比，异常样本就是无关的、或者某种程度上是错误的和不正常的样本。异常样本一般是由仪器故障、采集条件因素、人为操作误差或数据自身缺陷等原因引起的。异常样本的存在会影响模型的质量，导致建立的模型无法反映数据的真实关系，无法得到准确的预测结果。因此，需要剔除异常样本点的影响建立稳健的模型^[4]。

对于主成分回归，一般采用稳健的协方差估计替代传统的数据协方差矩阵，从而实现稳健的主成分回归。对于偏最小二乘（PLS）回归，不同的稳健PLS模型被提出，如将PLS方法中所涉及到的最小二乘回归方法，部分或全部替换成某种稳健回归方法，如迭代重加权最小二乘（IRLS）、最小中位数平方法（LMS）和截尾最小二乘法（LTS）等；迭代重加权偏最小二乘（IRPLS）方法^[5]；偏稳健M回归方法^[6]；RSIMPLS方法^[7]。

还有一类方法通过交叉验证来检测异常样本，如基于留一交叉验证得到每个样本对应的光谱残差或浓度残差，然后判定残差超出某个阈值的样本为异常样本^[8]；类似地，模特卡罗交叉验证也被用于异常样本检测，该方法首先建立模特卡罗交叉验证模型，然后根据预测误差平方和排序，并统计每个样本在不同模型中的出现频次，最终基于异常样本与正常样本的出现频次差异来判定样本是否异常。

然而，基于交叉验证的异常样本检测方法，可能会产生“掩盖”现象，导致无法检测出或错误识别异常样本。稳健的主成分回归或偏最小二乘回归对于数据集中异常样本较多时检测效果较差。基于最大后验概率随机采样一致集^[9]，进行多元校正异常样本检测，是一种新的方法，它能够通过不断地随机采样，剔除数据中的异常样本，目前还未见成熟的技术与文献。现实应用中的各种复杂情形，如观测条件、操作因素等，均会导致异常样本点的出现。各种不同类型的异常样本点对校正模型的影响程度不同，如何有效消除这些异常样本的影响是化学计量学多元校正技术的一个难题。

[1]Martens H,Nas T.Multivariate calibration.Wiley,1992

[2]Wold H.Soft modelling by latent variables:the nonlineariterative partial least squares approach.Perspectives in Probability andStatistics.London:Academic Press,1975

[3]de Jong S.SIMPLS:an alternative approach squares regression topartial least squares regression.Chemometrics and IntelligentLaboratory Systems，1993,18(3),251-263

[4]Liang Y Z,Kvalheim O M.Robust methods for multivariate analysis-a tutorial review.Chemometrics and Intelligent Laboratory Systems，1996,32(1),1-10

[5]Cummins D J,Andrews C W.Iteratively reweighted partial leastsquares:A performance analysis by monte carlo simulation.Journal ofChemometrics，1995,9(6),489-507