[发明专利]一种确定异常数据的方法及装置有效
申请号: | 201410108593.3 | 申请日: | 2014-03-21 |
公开(公告)号: | CN104933080B | 公开(公告)日: | 2018-06-26 |
发明(设计)人: | 颜海涛 | 申请(专利权)人: | 中国移动通信集团湖北有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京派特恩知识产权代理有限公司 11270 | 代理人: | 张颖玲;王黎延 |
地址: | 430040 湖*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 异常数据 最小数据单元 多维数据集 维度 子集 空间距离 遍历 所述空间 递归 | ||
1.一种确定异常数据的方法,其特征在于,所述方法包括:
根据对多维数据集的各个维度进行遍历后得到的遍历结果,将所述多维数据集分成N个与所述多维数据集维度相同的最小数据单元,并计算所有所述最小数据单元对应的空间距离值;
根据所述空间距离值确定疑似异常数据集;
在所述疑似异常数据集中选取一个疑似异常最小数据单元,按照维度组合递归的方法,将所述疑似异常最小数据单元、与所述疑似异常最小数据单元相邻的最小数据单元组合成疑似异常数据子集,并计算所述疑似异常数据子集中的疑似异常数据单元的空间距离差值,比较所述空间距离差值与所述疑似异常最小数据单元的空间距离值的大小,确定所述疑似异常数据子集中的疑似异常数据单元是否为异常数据单元;
其中,N为所述多维数据集中每个维度的维值个数的乘积;所述计算所述疑似异常数据子集中的疑似异常数据单元的空间距离差值,包括:计算所述疑似异常数据子集中的疑似异常数据单元的外部空间距离值和内部空间距离值,根据所述外部空间距离值和所述内部空间距离值计算空间距离差值。
2.根据权利要求1所述的方法,其特征在于,所述根据对多维数据集的各个维度进行遍历后得到的遍历结果之前,所述方法还包括:
输入多维数据集,并输入控制所述多维数据集的控制规则,根据所述控制规则将所述多维数据集转换成待处理的数据对象。
3.根据权利要求1所述的方法,其特征在于,所述根据所述空间距离值确定疑似异常数据集,包括:
根据正态分布法则将所有所述空间距离值进行拟合,并选取与拟合所述空间距离值得到的正态分布的标准差距离最远的X个点对应的数据作为疑似异常数据,与所述疑似异常数据对应的最小数据单元组成的集合为疑似异常数据集。
4.根据权利要求1所述的方法,其特征在于,所述比较所述空间距离差值与所述疑似异常最小数据单元的空间距离值的大小,确定所述疑似异常数据子集中的疑似异常数据单元是否为异常数据单元,包括:
若所述空间距离差值大于所述疑似异常最小数据单元的空间距离值时,所述疑似异常数据单元为异常数据单元;
若所述空间距离差值不大于所述疑似异常最小数据单元的空间距离值时,所述疑似异常数据单元为正常数据单元。
5.根据权利要求1所述的方法,其特征在于,所述确定所述疑似异常数据子集中的疑似异常数据单元是否为异常数据单元之后,所述方法还包括:
显示异常数据集,所述异常数据集是所述疑似异常数据集中的所有疑似异常最小数据单元通过维度组合递归的方法确定的异常最小数据单元组成的集合。
6.一种确定异常数据的装置,其特征在于,所述装置包括:
计算单元,用于根据对多维数据集的各个维度进行遍历后得到的遍历结果,将所述多维数据集分成N个与所述多维数据集维度相同的最小数据单元,并计算所有所述最小数据单元对应的空间距离值;其中,N为所述多维数据集中每个维度的维值个数的乘积;
确定单元,用于根据所述空间距离值确定疑似异常数据集;
递归单元,用于在所述疑似异常数据集中选取一个疑似异常最小数据单元,按照维度组合递归的方法,将所述疑似异常最小数据单元、与所述疑似异常最小数据单元相邻的最小数据单元组合成疑似异常数据子集,并计算所述疑似异常数据子集中的疑似异常数据单元的外部空间距离值和内部空间距离值,根据所述外部空间距离值和内部空间距离值计算空间距离差值;
比较单元,用于比较所述空间距离差值与所述疑似异常最小数据单元的空间距离值的大小,确定所述疑似异常数据子集中的疑似异常数据单元是否为异常数据单元。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
输入单元,用于输入多维数据集,并输入控制所述多维数据集的控制规则;
转换单元,用于根据所述控制规则将所述多维数据集转换成待处理的数据对象。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国移动通信集团湖北有限公司,未经中国移动通信集团湖北有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410108593.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:数据同步传递的电商平台
- 下一篇:需求记录、互动方法及其系统