[发明专利]一种数据中的异常数据点的检测方法及系统有效
| 申请号： | 201810114099.6 | 申请日： | 2018-02-05 |
| 公开（公告）号： | CN108229586B | 公开（公告）日： | 2019-02-05 |
| 发明（设计）人： | 王建民;宋韶旭;梅逸男 | 申请（专利权）人： | 清华大学 |
| 主分类号： | G06K9/62 | 分类号： | G06K9/62 |
| 代理公司： | 北京路浩知识产权代理有限公司 11002 | 代理人： | 王莹;吴欢燕 |
| 地址： | 100084 北京市海*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种数据中的异常数据点的检测方法及系统。方法包括：S1，对于数据中的每一数据点，根据所述数据的第一属性集合，获取所述数据点的近邻点集合；S2，根据所述数据的第二属性集合，获取所述数据点与自身的近邻点集合的归一距离分布；S3，基于所有归一距离分布，检测出所述数据中的异常数据点。本发明提供的方法及系统，通过初步确定数据点的近邻点集合后，利用统计学思想检测近邻点集合中的异常近邻点，遍历所有的数据点，将异常近邻点检测结果进行聚合操作，检测得到最终的异常数据点，提高了异常数据点的检测的精确度，且该方法的实施过程较为简便，易于在各种大数据现场执行。 | ||
| 搜索关键词： | 异常数据 数据点 检测 集合 距离分布 属性集合 大数据 点检测 统计学 遍历 聚合 | ||
【主权项】：
1.一种数据中的异常数据点的检测方法，其特征在于，包括：S1，对于数据中的每一数据点，根据所述数据的第一属性集合，获取所述数据点的近邻点集合；S2，根据所述数据的第二属性集合，获取所述数据点与自身的近邻点集合的归一距离分布；S3，基于所有归一距离分布，检测出所述数据中的异常数据点；步骤S1进一步包括：S11，对于所述数据中的每一数据点，根据所述数据的第一属性集合，获取所述数据点与所述数据中的每一其他数据点间的距离值；S12，在所有距离值中，将所述所有距离值中的最大值作为最大距离值；S13，将每一距离值与所述最大距离值进行除法运算，以获取所述数据点与所述每一其他数据点间的归一距离值；S14，将每一归一距离值与预设距离阈值进行比对，若所述归一距离值小于所述预设距离阈值，则将所述归一距离值对应的其他数据点作为所述数据点的近邻点；并将所述数据点的所有近邻点，作为所述数据点的近邻点集合。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于清华大学，未经清华大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810114099.6/，转载请声明来源钻瓜专利网。
