[发明专利]一种确定异常数据的方法及装置

说明书

本发明公开了一种确定异常数据的方法，包括：根据对多维数据集的各个维度进行遍历后得到的遍历结果，将所述多维数据集分成N个与所述多维数据集维度相同的最小数据单元，并计算所有所述最小数据单元对应的空间距离值；根据所述空间距离值确定疑似异常数据集；在所述疑似异常数据集中选取一个疑似异常最小数据单元，按照维度组合递归的方法，将所述疑似异常最小数据单元、与所述疑似异常最小数据单元相邻的最小数据单元组合成疑似异常数据子集，并计算所述疑似异常数据子集中的疑似异常数据单元的空间距离差值，进而确定所述疑似异常数据子集中的疑似异常数据单元是否为异常数据单元。本发明还公开了一种确定异常数据的装置。

技术领域

本发明涉及多维数据分析技术，尤其涉及一种确定异常数据的方法及装置。

背景技术

在数据分析和数据挖掘领域中，多维数据分析是非常重要的一个方面，所述多维数据分析能够从复杂的多维数据中发现存在的问题或潜在的商机。

现有技术中，对多维数据集进行分析的方法有三种：第一，将多维数据集进行降维，采用决策树等算法对多维数据集进行分析；第二，采用神经网络等复杂模拟算法对多维数据集进行分析；第三，根据专家经验对多维数据集进行分析。但上述方法存在下述问题：

（a）现有分析过程复杂，耗费时间长，甚至需要借助外部工具对多维数据集进行复杂的数据建模；

（b）技术人员需要对统计学或者数据分析等有一定基础，因此，对技术人员的技术水平要求较高；

（c）现有技术中缺少将业务人员经验和控制方法体现到数据显示过程的机制，因此，使得输出的数据仅仅为单纯的数字信息，并不包含业务信息，非技术专业人员不能理解，导致输出的数据可视化程度差；

（d）现有对多维数据集的分析过程侧重于找出所述多维数据集中具有普遍性规律的数据集，将具有普遍性规律的数据集进行拟合，以便对其他类似场景下的多维数据集进行分析和预测，但此过程常忽略对异常数据的发现。

发明内容

为解决现有存在的技术问题，本发明实施例提供了一种确定异常数据的方法及装置，能准确定位异常数据。

为达到上述目的，本发明的技术方案是这样实现的：本发明提供了一种确定异常数据的方法，包括：

根据对多维数据集的各个维度进行遍历后得到的遍历结果，将所述多维数据集分成N个与所述多维数据集维度相同的最小数据单元，并计算所有所述最小数据单元对应的空间距离值；

根据所述空间距离值确定疑似异常数据集；

在所述疑似异常数据集中选取一个疑似异常最小数据单元，按照维度组合递归的方法，将所述疑似异常最小数据单元、与所述疑似异常最小数据单元相邻的最小数据单元组合成疑似异常数据子集，并计算所述疑似异常数据子集中的疑似异常数据单元的空间距离差值，比较所述空间距离差值与所述疑似异常最小数据单元的空间距离值的大小，确定所述疑似异常数据子集中的疑似异常数据单元是否为异常数据单元；

其中，N为所述多维数据集中每个维度的维值个数的乘积。

进一步地，所述根据对多维数据集的各个维度进行遍历后得到的遍历结果之前，所述方法还包括：

输入多维数据集，并输入控制所述多维数据集的控制规则，根据所述控制规则将所述多维数据集转换成待处理的数据对象。

进一步地，所述根据所述空间距离值确定疑似异常数据集，包括：

根据正态分布法则将所有所述空间距离值进行拟合，并选取与拟合所述空间距离值得到的正态分布的标准差距离最远的X个点对应的数据作为疑似异常数据，与所述疑似异常数据对应的最小数据单元组成的集合为疑似异常数据集。

进一步地，所述计算所述疑似异常数据子集中的疑似异常数据单元的空间距离差值，包括：