[发明专利]基于支持向量机模型的实测光谱曲线中异常光谱剔除方法

说明书

技术领域

本发明涉及一种实测光谱曲线中异常光谱的剔除方法，具体涉及一种基于支持向量机分类方法原理设置阈值剔除异常光谱的方法。

背景技术

光谱分析技术在地质遥感、农林生态、土壤调查、污染监测、食品检测、计量化学等领域应用广泛，在测量过程中，由于仪器噪声、外界环境干扰、操作不当及其他偶发因素的影响，采集到的光谱数据中往往存在异常光谱，如果直接使用这些数据进行建模分析，势必会影响模型的准确性和稳定性。因此，有必要识别出异常光谱并将其剔除。

国内外许多专家学者对异常光谱识别做了相应的研究，陈斌等利用PCA结合马氏距离对光谱异常样品进行剔除；包鑫等利用马氏距离的平均值加两倍马氏距离的标准差作为阈值来剔除异常光谱；Patrick Wiegand等通过偏最小二乘法(PLS)建模，根据光谱数据与所建模型预测值残差大小来判断是否为异常光谱；淡图南等在PLS建模的基础上，采用留一步交叉检验法确定异常光谱数据；ZhiChao Liu等利用蒙特卡洛交叉验证建立一定数量的PLS模型后，按照预测误差平方和排序，并根据光谱在不同模型中出现频次来完成异常光谱的识别。综合国内外研究现状，异常光谱识别基本思想均为大量统计数据分析建模，人为设置阈值或者不断调整阈值后建立预测模型，以相关系数、均方差、平均相对误差等统计参数作为异常样品剔除模型的评价指标，得到不同阈值下的预测精度直至满足要求。上述处理方法存在着两个缺陷，一是运用马氏距离等常规相似性度量方法比较光谱间的差异，不能完全区分开光谱差异；二是人为设置阈值或不断调整阈值的方法，阈值设置依赖处理者的经验，主观性太大，且效率不高，难以应用于大量光谱数据的处理。为了克服上述问题，需要引入新的技术方法和思路。

发明内容：

本发明要解决的技术问题是提供一种基于支持向量机模型的实测光谱曲线中异常光谱的剔除方法，用核函数、惩罚系数和训练光谱建立支持向量机模型，从实测光谱曲线中剔除异常光谱。

为了解决上述技术问题，本发明的技术方案为：

基于支持向量机模型的实测光谱曲线中异常光谱剔除方法，包括如下步骤：1)获取实测光谱数据，并对其进行预处理；2)依据经预处理的实测光谱数据，获取光谱的二维平面散点图；3)将位于二维平面散点图中上方离集群中心较远的离散点标记为总离散点，将二维平面散点图中下方除去了离散点之外的集群点标记为总集群点，总离散点和总集群点共同构成训练光谱；4)选取核函数和惩罚系数C，结合训练光谱建立SVM二分类算法模型；5)将二维平面散点图输入支持向量机模型，在高维空间得到最优分类超平面函数表达式，最优分类超平面函数表达式即为异常光谱阈值线；6)二维平面散点图位于异常光谱阈值线上方的光谱点即为异常光谱，剔除异常光谱。

较佳地，步骤1)预处理包括三个步骤11)去除水汽影响波段，12)采用多项式平滑滤波，滤除原始光谱中高频噪声，13)包络线去除。

较佳地，步骤2)中的二维平面散点图是通过以下方法得到的：计算经预处理的实测光谱数据与标准光谱集平均光谱之间的局部度量，包括欧氏距离ED和余弦角CA，并归一化到0-1之间；计算经预处理的实测光谱数据与标准光谱集平均光谱之间的整体度量，包括光谱信息散度SID，并归一化到0-1之间；光谱编号结合归一化后的欧氏距离ED、余弦角CA、光谱信息散度SID和表达式(ED×SID)/CA的值，得到二维平面下的ED散点图、CA散点图、SID散点图和(ED×SID)/CA散点图；二维平面散点图包括ED散点图和/或CA散点图和/或SID散点图和/或(ED×SID)/CA散点图。

较佳地，二维平面下的ED散点图、CA散点图、SID散点图和(ED×SID)/CA散点图的建立方法为：以光谱编号为横轴，以归一化后的欧氏距离ED、余弦角CA、光谱信息散度SID和表达式(ED×SID)/CA的值为纵轴建立二维平面的ED散点图、CA散点图、SID散点图和(ED×SID)/CA散点图。

较佳地，步骤4)中的核函数为RBF核函数，K(m_u,m_v)为核函数，m_u，m_v表示光谱编号为u与v的光谱在二维平面散点图上光谱度量值；惩罚系数C和RBF核函数中的间隔参数γ均是人为指定的经验参数。