[发明专利]确定数据异常的方法及装置有效
申请号: | 201711474464.6 | 申请日: | 2017-12-29 |
公开(公告)号: | CN110110160B | 公开(公告)日: | 2020-04-14 |
发明(设计)人: | 吴岳灏;解岭;徐鑫 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F16/903 | 分类号: | G06F16/903;G06K9/62;G06F21/64 |
代理公司: | 北京亿腾知识产权代理事务所(普通合伙) 11309 | 代理人: | 陈霁;周良玉 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 确定 数据 异常 方法 装置 | ||
本说明书实施例提供一种确定数据异常的方法和装置,方法包括:获取预定时间段内的多个数据包,所述多个数据包具有相同数据结构;获取具有所述相同数据结构的历史数据的历史分布;将所述多个数据包与所述历史分布进行比对;根据比对结果,确定是否存在数据异常。所述装置与上述方法相对应。通过上述方法和装置,可以有效地判断出当前数据包中的数据异常。
技术领域
本说明书一个或多个实施例涉及计算机技术领域,尤其涉及确定数据异常的方法和装置。
背景技术
随着互联网的升级,不同平台之间的数据交互越来越频繁。例如,用户向银行或某个金融平台提交贷款请求,银行或金融平台会将用户的请求数据发送到综合计算平台进行全面评估,来决定是否批准该用户的贷款请求,以及核准的贷款金额。然而,各个平台为了安全性和自身用户保密性的考虑,在将数据发送给其他平台处理之前,往往会对数据进行一些隐私保护处理。这样处理之后的数据会失去其业务含义。接收平台在接收到这些数据之后,很难根据业务规则对数据中是否存在异常进行判断。例如,数据传送过程中是否被攻击,是否被篡改,用户群体是否发生了偏移等。
即使是在同一计算平台中,数据的处理往往要经过业务链中的多个环节。数据也有可能在某个业务环节,或者不同业务环节之间的传输过程中出现异常,例如系统被攻击、模型出现异常等等。
另一方面,在大数据背景下,数据量指数增长,而业务规则又是不断变化难以穷尽的,因此仅通过业务规则来发现数据异常,工作量巨大而不够全面。
因此,需要更有效的方式,对数据的异常进行判断和预警。
发明内容
本说明书一个或多个实施例描述了一种方法和装置,可以不依赖于数据的业务含义,对数据的异常进行判断和预警。
根据第一方面,提供了一种确定数据异常的方法,包括:
获取预定时间段内的多个数据包,所述多个数据包具有相同数据结构;
获取具有所述相同数据结构的历史数据的历史分布;
将所述多个数据包与所述历史分布进行比对;
根据比对结果,确定是否存在数据异常。
根据一种实施方式,将多个数据包与所述历史分布进行比对包括:通过将所述多个数据包代入所述历史分布,获取所述多个数据包在所述历史分布中的多个分布状态参数;将所述多个分布状态参数与预定的与分布状态相关的阈值进行比对,确定超出所述阈值的数据包的数目;所述根据比对结果,确定是否存在数据异常包括:根据所述超出所述阈值的数据包的数目,确定是否存在数据异常。
根据一种实施方式,将所述多个数据包与所述历史分布进行比对包括:确定所述多个数据包的数据分布状态作为当前分布;将所述当前分布与所述历史分布进行比对。
在一种实施例中,将所述当前分布与所述历史分布进行比对包括:确定所述当前分布的分布中心;获取所述历史分布的分布中心;确定所述当前分布的分布中心与历史分布的分布中心之间的偏移;相应地,所述根据比对结果,确定是否存在数据异常包括:响应于所述偏移超出预定偏移阈值,确定存在数据异常。
在另一实施例中,将所述当前分布与所述历史分布进行比对包括:确定随机抽取的数据包在所述当前分布中的分布状态参数,即第一参数;确定该随机抽取的数据包在所述历史分布中的分布状态参数,即第二参数;确定所述第一参数和第二参数的差值;相应地,所述根据比对结果,确定是否存在数据异常包括:响应于所述差值超出预定差值阈值,确定存在数据异常。
根据一种实施方式,所述历史分布是采用混合高斯模型对所述历史数据进行处理得到的历史概率分布;相应地,当前分布体现为采用混合高斯模型对当前多个数据包处理得到的当前概率分布;上述分布状态参数可以体现为概率值;分布中心体现为概率分布曲线的峰值位置。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711474464.6/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置