[发明专利]基于支持向量机模型的实测光谱曲线中异常光谱剔除方法

摘要

本发明公开了一种基于支持向量机模型的实测光谱曲线中异常光谱的剔除方法，利用机器学习理论中支持向量机分类方法思想设置阈值剔除异常光谱，通过交叉验证方法自动参数寻优找出最佳模型参数进而对光谱数据进行分类，避免了人工设置阈值或不断调整阈值的主观性、低效率等问题，能规模化应用于大量光谱数据的处理，并且有效提高了精度和准确性。本发明选取的RBF核函数具有泛化能力强、收敛速度快的特点。本发明还增加了对惩罚系数C、RBF核函数中的间隔参数γ进行寻优的参数选取步骤，结合训练光谱建立SVM二分类算法模型也即支持向量机模型，更进一步的优化了最后异常光谱剔除的结果。

主权项

基于支持向量机模型的实测光谱曲线中异常光谱剔除方法，其特征在于，包括如下步骤：1)获取实测光谱数据，并对其进行预处理；2)依据经预处理的所述实测光谱数据，获取光谱的二维平面散点图，二维平面散点图是通过以下方法得到的：计算经预处理的实测光谱数据与标准光谱集平均光谱之间的局部度量，包括欧氏距离ED和余弦角CA，并归一化到0‑1之间；计算经预处理的实测光谱数据与标准光谱集平均光谱之间的整体度量，包括光谱信息散度SID，并归一化到0‑1之间；光谱编号结合归一化后的欧氏距离ED、余弦角CA、光谱信息散度SID和表达式(ED×SID)/CA的值，得到二维平面下的ED散点图、CA散点图、SID散点图和(ED×SID)/CA散点图；所述二维平面散点图包括所述ED散点图和/或CA散点图和/或SID散点图和/或(ED×SID)/CA散点图；3)将位于所述二维平面散点图中上方离集群中心较远的离散点标记为总离散点，将二维平面散点图中下方除去了离散点之外的集群点标记为总集群点，总离散点和总集群点共同构成训练光谱；4)选取核函数和惩罚系数C，结合所述训练光谱建立支持向量机模型；5)将所述二维平面散点图输入所述支持向量机模型，在高维空间得到最优分类超平面函数表达式，最优分类超平面函数表达式即为异常光谱阈值线；6)所述二维平面散点图位于异常光谱阈值线上方的光谱点即为异常光谱，剔除所述异常光谱。