[发明专利]一种数据中的异常数据点的检测方法及系统

权利要求书

1.一种数据中的异常数据点的检测方法，其特征在于，包括：

S1，对于数据中的每一数据点，根据所述数据的第一属性集合，获取所述数据点的近邻点集合；

S2，根据所述数据的第二属性集合，获取所述数据点与自身的近邻点集合的归一距离分布；

S3，基于所有归一距离分布，检测出所述数据中的异常数据点；

步骤S1进一步包括：

S11，对于所述数据中的每一数据点，根据所述数据的第一属性集合，获取所述数据点与所述数据中的每一其他数据点间的距离值；

S12，在所有距离值中，将所述所有距离值中的最大值作为最大距离值；

S13，将每一距离值与所述最大距离值进行除法运算，以获取所述数据点与所述每一其他数据点间的归一距离值；

S14，将每一归一距离值与预设距离阈值进行比对，若所述归一距离值小于所述预设距离阈值，则将所述归一距离值对应的其他数据点作为所述数据点的近邻点；并将所述数据点的所有近邻点，作为所述数据点的近邻点集合。

2.根据权利要求1所述的方法，其特征在于，步骤S1之前还包括：

S0，获取所述数据的总属性集合，将所述总属性集合划分为所述第一属性集合和所述第二属性集合；其中，所述第一属性集合和所述第二属性集合的交集为空集。

3.根据权利要求1所述的方法，其特征在于，步骤S2进一步包括：

S21，根据所述数据的第二属性集合，获取所述数据点与自身的近邻点集合中每一近邻点的距离值；

S22，在所有距离值中，将所述所有距离值中的最大值作为最大距离值；

S23，将每一距离值与所述最大距离值进行除法运算，以获取所述数据点与所述每一近邻点间的归一距离值；

S24，根据所有归一距离值，获取所述数据点与自身的近邻点集合的归一距离分布。

4.根据权利要求3所述的方法，其特征在于，步骤S3进一步包括：

S31，根据预设的显著性水平，获取所述归一距离分布的置信区间；

S32，获取所述数据点与自身的近邻点集合中的每一近邻点间的归一距离值；

S33，将所有归一距离值中的每一归一距离值与置信区间进行比对，将归一距离值位于所述置信区间外的近邻点标记为异常近邻点；

S34，遍历所有数据点，重复步骤S31-S33，统计每个数据点被标记为异常近邻点的次数，若所述次数大于预设个数阈值，则将对应的数据点判定为异常数据点。

5.一种数据中的异常数据点的检测系统，其特征在于，包括：

近邻点集合确定模块，对于数据中的每一数据点，根据所述数据的第一属性集合，获取所述数据点的近邻点集合；

归一距离分布确定模块，用于根据所述数据的第二属性集合，获取所述数据点与自身的近邻点集合的归一距离分布；

异常数据点确定模块，用于基于所有归一距离分布，检测出所述数据中的异常数据点；

近邻点集合确定模块进一步用于：

对于所述数据中的每一数据点，根据所述数据的第一属性集合，获取所述数据点与所述数据中的每一其他数据点间的距离值；

在所有距离值中，将所述所有距离值中的最大值作为最大距离值；

将每一距离值与所述最大距离值进行除法运算，以获取所述数据点与所述每一其他数据点间的归一距离值；

将每一归一距离值与预设距离阈值进行比对，若所述归一距离值小于所述预设距离阈值，则将所述归一距离值对应的其他数据点作为所述数据点的近邻点；并将所述数据点的所有近邻点，作为所述数据点的近邻点集合。

6.一种计算机设备，其特征在于，包括存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至4任一所述的方法。

7.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至4任一所述的方法。