[发明专利]基于K近邻算法的异常数据检测方法、系统、设备、介质

说明书

本发明公开一种基于K近邻算法的异常数据检测方法、系统、设备、介质，涉及异常数据检测技术领域，以解决现有的检测方法复用性差的问题。所述检测方法包括：基于综合校验规则计算未分类数据与已分类数据集中每一已分类数据之间的相似度，并按照相似度确定未分类数据的K个邻居，根据K个邻居的类别确定未分类数据的类别，进而基于相似度确定待检测原始数据集中每一数据的类别，以确定所有的异常数据，实现异常数据检测。本发明所用的方法可以适用于所有场景下的异常数据检测，通用性强。本发明提供的基于K近邻算法的异常数据检测方法、系统、设备、介质用于对异常数据检测方法进行优化，复用性强。

技术领域

本发明涉及异常数据检测技术领域，尤其涉及一种基于K近邻算法的异常数据检测方法、系统、设备、介质。

背景技术

随着数据时代的到来，各行各业通过信息技术管理自身企业数据的需求与日俱增。许多企业经过前期探索式的业务系统建设，越来越明白信息化的建设本身就是企业数据的建设与管理。数据质量管理，异常数据检测及数据标准化是企业数据治理的重中之重。没有好的数据质量管理办法及技术，通过数据促生产就难以实现。

现有的数据质量检测办法，必须制定特异且复杂的校验规则进行异常数据检测，规则针对性强、复用性差且无法穷尽所有异常情况，存在缺陷。基于此，亟需一种通用的异常数据检测方法。

发明内容

本发明的目的在于提供一种基于K近邻算法的异常数据检测方法、系统、设备、介质，用于确定异常数据，通用性强。

为了实现上述目的，本发明提供如下技术方案：

一种基于K近邻算法的异常数据检测方法，所述检测方法包括：

基于预设标准在待检测原始数据集中确定一正常数据与一异常数据；所述正常数据和所述异常数据组成已分类数据集；

在所述待检测原始数据集中随机选取一个未分类数据，并基于综合校验规则计算所述未分类数据与所述已分类数据集中每一已分类数据之间的相似度；

按照所述相似度从大到小的顺序进行排序，选取前K个相似度对应的已分类数据作为所述未分类数据的K个邻居；

根据所述K个邻居的类别确定所述未分类数据的类别，成为已分类数据，并将所述已分类数据放入所述已分类数据集；所述类别包括正常数据和异常数据；

判断所述待检测原始数据集中是否有未分类数据；

若是，则返回“在所述待检测原始数据集中随机选取一个未分类数据”的步骤，直至所述待检测数据集中的每一未分类数据均已被检测；

若否，则根据所述已分类数据集确定异常数据。

与现有技术相比，本发明提供的一种基于K近邻算法的异常数据检测方法，基于综合校验规则计算未分类数据与已分类数据集中每一已分类数据之间的相似度，并按照相似度确定未分类数据的K个邻居，根据K个邻居的类别确定未分类数据的类别，进而基于相似度确定待检测原始数据集中每一数据的类别，以确定所有的异常数据，实现异常数据检测。本发明所用的方法可以适用于所有场景下的异常数据检测，通用性强。此外，所用的检验规则简单，无需制定特异且复杂的校验规则进行异常数据检测，检测效率高。

一种基于K近邻算法的异常数据检测系统，所述检测系统包括：

已分类数据集确定模块，用于基于预设标准在待检测原始数据集中确定一正常数据与一异常数据；所述正常数据和所述异常数据组成已分类数据集；

相似度计算模块，用于在所述待检测原始数据集中随机选取一个未分类数据，并基于综合校验规则计算所述未分类数据与所述已分类数据集中每一已分类数据之间的相似度；

邻居确定模块，用于按照所述相似度从大到小的顺序进行排序，选取前K个相似度对应的已分类数据作为所述未分类数据的K个邻居；