[发明专利]基于KMDB的软测量建模数据异常点检测方法

摘要

本发明是一种基于KMDB(K‑means与DBSCAN相结合的算法)的软测量建模数据异常点检测方法，其特征在于包括下列步骤(1)设定异常点比例p0与误差比较系数t。(2)对确定的样本数据集进行软测量建模，计算建模测试误差e0(选取相对误差)。(3)用建模误差指导K值的选择，将数据集划分为K类。(4)对每一类用DBSCAN算法进行异常点检测。(5)用异常数据样本占总样本的比例p调整DBSCAN算法中Eps和MinPts的选择。(6)将删除异常点的数据进行软测量建模，得到误差e。比较e与te0判断算法是否有效。(7)判断在迭代次数范围内算法是否达到设定条件，若未达到需返回(1)重新选择p0与t；否则，算法结束。KMDB算法有效地提高了聚类算法的精度及软测量模型的稳定性。

主权项

一种基于KMDB的软测量建模数据异常点检测方法，其特征在于包含有以下步骤：(1)设定异常点比例p0与误差比较系数t；(2)确定样本数据集，计算用该数据集进行软测量建模的建模测试误差e0；(3)根据误差使用公式(1)计算K值并对数据集聚类，将数据集划分为K类：式中：K0＝1，为向上取整符号，为向下取整符号，e为相对误差，i＝0，1，2，....，N，N为迭代次数；(4)调节Eps和MinPts，用DBSCAN算法进行局部聚类，不属于任何簇的点即为异常点；这里MinPts和Eps的初值根据不同的数据集依赖经验设定；(5)合并各局部聚类结果，判断异常样本占总样本的比例p是否小于设定值p0：若p＜p0，进行下一步，若p≥p0，依据异常样本占总样本的比例值p，调整MinPts和Eps的大小：返回步骤(4)，式中j＝1，2，....；(6)将删除异常点以后的数据划为正确数据，将正确数据作为建模数据进行软测量建模，得到建模测试误差e，比较e与te0的大小：若e≤te0，则认为此次异常点检测是有效的，将去除异常点后的数据作为样本数据，若e＞te0，则此次检测为无效，返回步骤(3)；(7)设定算法迭代次数为5000次，若在迭代次数范围内设定条件未达到，需重新选择p0与t，若在迭代次数范围内能达到设定条件，异常点检测结束。