[发明专利]基于聚类和SSE的异常点比例优化方法及装置

说明书

本发明公开了基于聚类和SSE的异常点比例优化方法及装置。该方法通过接收待分类数据点集合，通过k‑means聚类将待分类数据点集合进行聚类，得到多个聚类簇；获取多个聚类簇中所包括每一聚类簇对应的数据点，根据预设的当前异常点比例及每一聚类簇，构建与每一聚类簇一一对应的单分类支持向量机；通过不断调整当前异常点比例，直至残差变动幅度超出变动幅度阈值，将当前异常点比例加上步长作为最优异常点比例；以及将所选定的聚类簇根据单分类支持向量机及最优异常点比例进行分类，得到最优分类结果。该方法采用聚类技术实现了对海量数据的精确分类和对各分类异常点检测，检测过程中的异常点比例是自动调整而获取，无需根据经验设置。

技术领域

本发明涉及智能决策技术领域，尤其涉及一种基于聚类和SSE的异常点比例优化方法及装置。

背景技术

异常值分析是检验数据是否有录入错误以及含有不合常理的数据的过程，忽视异常值的存在是十分危险的，不加剔除地把异常值包括进数据的计算分析过程中，对结果会产生不良影响。

目前，在企业的运营过程中搜集的海量用户数据中，往往有多个正常点中心。若未先对海量用户数据先进行划分再进行异常点检测，会导致用于异常点检测的无监督模型的区分效果较差，无法精细化检测异常点数据。

发明内容

本发明实施例提供了一种基于聚类和SSE的异常点比例优化方法、装置、计算机设备及存储介质，旨在解决现有技术中海量用户数据中往往有多个正常点中心，若未先对海量用户数据先进行划分再进行异常点检测，会导致用于异常点检测的无监督模型的区分效果较差，无法精细化检测异常点数据的问题。

第一方面，本发明实施例提供了一种基于聚类和SSE的异常点比例优化方法，其包括：

接收待分类数据点集合，通过k-means聚类将所述待分类数据点集合进行聚类，得到多个聚类簇；

获取多个聚类簇中所包括每一聚类簇对应的数据点，根据预设的当前异常点比例及每一聚类簇，构建与每一聚类簇一一对应的用于异常点检测的单分类支持向量机；

将所选定的聚类簇根据所述单分类支持向量机及所述当前异常点比例进行分类，得到分类结果中正常类别的正常点中心；

获取所述分类结果中异常类别的每一数据点与所述正常点中心的残差平方和，以获取当前残差平方和；

通过所述当前异常点比例减去预设的步长，以更新当前异常点比例；

将所选定的聚类簇根据所述单分类支持向量机及当前异常点比例进行分类，得到当前异常类别的数据点，获取当前异常类别的每一数据点与所述正常点中心的残差以作为下一残平方和差平方和；

通过下一残差平方和与当前残差平方和之差除以所述步长，得到残差变动幅度；

判断所述残差变动幅度是否超出预设的变动幅度阈值；

若所述残差变动幅度超出所述变动幅度阈值，将当前异常点比例加上步长作为最优异常点比例；以及

将所选定的聚类簇根据所述单分类支持向量机及最优异常点比例进行分类，得到最优分类结果。

第二方面，本发明实施例提供了一种基于聚类和SSE的异常点比例优化装置，其包括：

聚类单元，用于接收待分类数据点集合，通过k-means聚类将所述待分类数据点集合进行聚类，得到多个聚类簇；

多模型构建单元，用于获取多个聚类簇中所包括每一聚类簇对应的数据点，根据预设的当前异常点比例及每一聚类簇，构建与每一聚类簇一一对应的用于异常点检测的单分类支持向量机；

正常点中心获取单元，用于将所选定的聚类簇根据所述单分类支持向量机及所述当前异常点比例进行分类，得到分类结果中正常类别的正常点中心；