[发明专利]基于聚类和SSE的异常点比例优化方法及装置在审
申请号: | 201910079217.9 | 申请日: | 2019-01-28 |
公开(公告)号: | CN109961086A | 公开(公告)日: | 2019-07-02 |
发明(设计)人: | 杨志鸿;徐亮;阮晓雯 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62 |
代理公司: | 深圳市精英专利事务所 44242 | 代理人: | 林燕云 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 聚类簇 异常点 聚类 分类 待分类数据 支持向量机 比例优化 变动幅度 集合 异常点检测 分类结果 海量数据 聚类技术 数据点 残差 构建 预设 检测 | ||
1.一种基于聚类和SSE的异常点比例优化方法,其特征在于,包括:
接收待分类数据点集合,通过k-means聚类将所述待分类数据点集合进行聚类,得到多个聚类簇;
获取多个聚类簇中所包括每一聚类簇对应的数据点,根据预设的当前异常点比例及每一聚类簇,构建与每一聚类簇一一对应的用于异常点检测的单分类支持向量机;
将所选定的聚类簇根据所述单分类支持向量机及所述当前异常点比例进行分类,得到分类结果中正常类别的正常点中心;
获取所述分类结果中异常类别的每一数据点与所述正常点中心的残差平方和,以获取当前残差平方和;
通过所述当前异常点比例减去预设的步长,以更新当前异常点比例;
将所选定的聚类簇根据所述单分类支持向量机及当前异常点比例进行分类,得到当前异常类别的数据点,获取当前异常类别的每一数据点与所述正常点中心的残差以作为下一残平方和差平方和;
通过下一残差平方和与当前残差平方和之差除以所述步长,得到残差变动幅度;
判断所述残差变动幅度是否超出预设的变动幅度阈值;
若所述残差变动幅度超出所述变动幅度阈值,将当前异常点比例加上步长作为最优异常点比例;以及
将所选定的聚类簇根据所述单分类支持向量机及最优异常点比例进行分类,得到最优分类结果。
2.根据权利要求1所述的基于聚类和SSE的异常点比例优化方法,其特征在于,所述通过k-means聚类将所述待分类数据点集合进行聚类,得到多个聚类簇,包括:
在多个待分类数据点集合中选取与预设的聚类簇数相同个数的数据点,将所选取的数据点作为每一簇的初始聚类中心;
根据所述待分类数据点集合中各数据点与各初始聚类中心的相异值,将所述待分类数据点集合进行划分,得到初始聚类结果;
根据初始聚类结果,获取每一簇的调整后聚类中心;
根据调整后聚类中心,将所述待分类数据点集合根据与调整后聚类中心的相异值进行划分,直至聚类结果保持相同的次数多于预设的次数,得到与预设的聚类簇数对应的聚类簇。
3.根据权利要求1所述的基于聚类和SSE的异常点比例优化方法,其特征在于,判断所述残差变动幅度是否超出预设的变动幅度阈值之后,还包括:
若所述残差变动幅度未超出所述变动幅度阈值,将当前异常点比例减去所述步长以更新当前异常点比例,通过下一残差平方和以更新当前残差平方和,返回执行将所述待分类样本根据所述单分类支持向量机及当前异常点比例进行分类,得到当前异常类别的数据点,获取当前异常类别的每一数据点与所述正常点中心的残差平方和以作为下一残差平方和的步骤。
4.根据权利要求1所述的基于聚类和SSE的异常点比例优化方法,其特征在于,所述根据预设的当前异常点比例及每一聚类簇,构建与每一聚类簇一一对应的用于异常点检测的单分类支持向量机,包括:
根据预设的当前异常点比例及每一聚类簇,获取各聚类簇相应单分类支持向量机所对应的超平面的第一参数和第二参数;
根据超平面的第一参数和第二参数,及所述当前异常点比例,构建与每一聚类簇一一对应的用于异常点检测的单分类支持向量机。
5.根据权利要求1所述的基于聚类和SSE的异常点比例优化方法,其特征在于,所述将所选定的聚类簇根据所述单分类支持向量机及所述当前异常点比例进行分类,得到分类结果中正常类别的正常点中心,包括:
将所选定的聚类簇根据对应的单分类支持向量机及当前异常点比例进行分类,得到与所选定的聚类簇对应的分类结果;其中,所述分类结果中包括正常类别的数据点和异常类别的数据点;
获取所述分类结果中正常类别的数据点所对应的平均值,以获取初始正常点中心;
获取所述分类结果中正常类别的数据点中与所述初始正常点中心距离最近的数据点,以作为正常类别的数据点对应的正常点中心。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910079217.9/1.html,转载请声明来源钻瓜专利网。