[发明专利]异常数据的检测方法及装置、计算机可读存储介质有效
申请号: | 201910574422.2 | 申请日: | 2019-06-28 |
公开(公告)号: | CN110399903B | 公开(公告)日: | 2021-07-13 |
发明(设计)人: | 邱景诚;曹倩;顾少丰 | 申请(专利权)人: | 上海上湖信息技术有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06F16/22 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 周书敏;李笑笑 |
地址: | 200120 上海市浦东新区中国(上*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 异常 数据 检测 方法 装置 计算机 可读 存储 介质 | ||
1.一种异常数据的检测方法,其特征在于,包括:
获取目标监控参数在当前时间段的待入库数据以及与所述当前时间段相邻的前一时间段的参考数据;
根据所述待入库数据以及所述参考数据,计算所述目标监控参数在当前时间段对应的群体稳定性指标;
获取所述目标监控参数在之前的N个历史时间段分别对应的群体稳定性指标,计算所述目标监控参数对应的异常数据范围;
当所述目标监控参数在当前时间段对应的群体稳定性指标处于所述异常数据范围内时,输出数据异常提醒;
其中,所述计算所述目标监控参数对应的异常数据范围,包括:
将所述之前的N个历史时间段分别对应的群体稳定性指标按照数值从小到大进行排列,得到排序后的N个群体稳定性指标;
计算所述排序后的N个群体稳定性指标的下四分位数以及上四分位数;
根据所述下四分位数以及所述上四分位数计算四分位距;
基于所述四分位距以及所述上四分位数,计算所述目标监控参数对应的异常数据范围。
2.根据权利要求1所述的异常数据的检测方法,其特征在于,所述目标监控参数包括以下至少一种类型:连续型以及类别型。
3.根据权利要求2所述的异常数据的检测方法,其特征在于,所述根据所述待入库数据以及所述参考数据,计算所述目标监控参数在当前时间段对应的群体稳定性指标,包括:
当所述目标监控参数的类型为连续型时,将所述待入库数据按照大小进行排序,得到排序后的待入库数据;将所述排序后的待入库数据按照预设的划分方式划分成M份额,统计所述排序后的待入库数据在每个份额中的占比;
将所述参考数据按照大小进行排序,得到排序后的参考数据;将所述排序后的参考数据按照预设的划分方式划分成M份额,统计所述排序后的参考数据在每个份额中的占比;
根据所述排序后的待入库数据在每个份额中的占比以及所述排序后的参考数据在每个份额中的占比,计算所述目标监控参数在当前时间段对应的群体稳定性指标。
4.根据权利要求3所述的异常数据的检测方法,其特征在于,所述根据所述排序后的待入库数据在每个份额中的占比以及所述排序后的参考数据在每个份额中的占比,计算所述目标监控参数在当前时间段对应的群体稳定性指标,包括:
采用如下公式计算所述目标监控参数在当前时间段对应的群体稳定性指标:
其中,PSI为所述目标监控参数在当前时间段对应的群体稳定性指标;M为份额总数目;pi为所述排序后的待入库数据在第i份额中的占比;qi为所述排序后的参考数据在第i份额中的占比;为取的自然对数。
5.根据权利要求2所述的异常数据的检测方法,其特征在于,所述根据所述待入库数据以及所述参考数据,计算所述目标监控参数在当前时间段对应的群体稳定性指标,包括:
当所述目标监控参数的类型为类别型时,获取所述目标监控参数在所述待入库数据中的所有类别;将所述目标监控参数在所述待入库数据中的所有类别按照预设合并条件,合并至C个类别,得到合并后的待入库数据;统计所述合并后的待入库数据在每个类别中的占比;
获取所述目标监控参数在所述参考数据中的所有类别;将所述目标监控参数在所述参考数据中的所有类别按照预设合并条件,合并至C个类别,得到合并后的参考数据;统计所述合并后的参考数据在每个类别中的占比;
根据所述合并后的待入库数据在每个类别中的占比以及所述合并后的参考数据在每个类别中的占比,计算所述目标监控参数在当前时间段对应的群体稳定性指标。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海上湖信息技术有限公司,未经上海上湖信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910574422.2/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置