[发明专利]一种异常数据检测方法及装置在审
申请号: | 202010276395.3 | 申请日: | 2020-04-09 |
公开(公告)号: | CN113515684A | 公开(公告)日: | 2021-10-19 |
发明(设计)人: | 刘晨;唐超;张凯 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F16/953 | 分类号: | G06F16/953 |
代理公司: | 北京清源汇知识产权代理事务所(特殊普通合伙) 11644 | 代理人: | 冯德魁;张艳梅 |
地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 异常 数据 检测 方法 装置 | ||
本申请公开了一种异常数据检测方法,包括:获取待检测数据;将所述待检测数据输入到目标数据重建模型中,获取与所述待检测数据对应的目标重建数据,其中,所述目标数据重建模型是用于根据所述待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型;获取所述待检测数据与所述目标重建数据之间的重建误差信息;根据所述重建误差信息,判断所述待检测数据是否为异常数据。所述方法在通过目标数据重建模型获取与待检测数据对应的目标重建数据,并通过获取待检测数据和目标重建数据之间的重建误差信息之后,根据所述重建误差信息即可方便、准确的判断待检测数据是否为异常数据。
技术领域
本申请涉及计算机技术领域,具体涉及一种异常数据检测方法、装置、电子设备及存储设备。本申请同时涉及一种数据重建模型的获得方法、装置、电子设备及存储设备。本申请还涉及一种针对网络平台的异常数据检测方法、装置、电子设备及存储设备。本申请还涉及一种针对目标设备的异常检测方法、装置、电子设备及存储设备。
背景技术
随着计算机技术的不断发展,应用程序在运行时通常会产生大量的应用数据,例如,网络平台在运行时,针对用户在平台中的操作行为,通常会在平台后台产生各种各样的用户行为数据。如何准确的检测出这些数据中的异常数据,以快速解决导致产生该异常数据的程序指令数据中的问题,越来越受到人们的重视。
目前从应用程序产生的应用数据,即从待检测数据中检测异常数据的方法,一般有两种:1、针对与目标对象对应的某个指标数据进行与阈值相关的异常检测,例如,针对网络平台中的某一按键的点击次数,或者针对网络平台中某个页面的浏览量,可以统计其在单位时间内的历史数据,并在进行实时监测时,根据实时数据与历史统计数据的偏差值来判断实时数据是否存在异常;2、针对与目标对象对应的时间序列数据,通过将该目标对象对应的历史时间序列数据转换为一维时间序列数据,并通过对该一维时间序列数据进行周期性以及趋势线分解后,获得其历史周期规律或历史变化趋势规律,并通过分析实时时间序列数据与获得的历史周期规律或历史变化趋势规律的偏离程度,来判断实时时间序列数据是否为异常数据,例如,通过差分整合移动平均自回归模型(ARIMA,AutoregressiveIntegrated Moving Average model)建立与目标对象对应的一维时间序列数据的周期变化模型,并通过该周期变化模型判断与目标对象对应的实时时间序列数据是否为异常数据。
由此可知,现有技术中判断待检测数据是否为异常数据的方法,一种方法仅适用于单值分析场景,即,仅针对某个单值指标数据进行分析检测,而不能分析数据在时间序列上的整体变化;另一种方法虽然可以处理时间序列数据,但是一般仅适用于一维时间序列数据,其并不能处理具有多个维度的时间序列数据;此外,两种方法都存在训练获得用于检测异常数据的模型的过程中,训练数据中的异常样本数据获取难度大,进而导致检测结果准确度相对较低的问题。因此,现有技术在判断待检测数据是否为异常数据时,需要根据待检测数据的类型来调用不同的模型,并且还存在不能处理某些类型的数据的问题,也就是说,现有技术存在不能方便、准确的获得待检测数据中的异常数据的问题。
发明内容
本申请实施例提供一种异常数据检测方法,以解决现有技术存在的不能方便、准确的获得待检测数据中的异常数据的问题。
本申请实施例提供一种异常数据检测方法,包括:获取待检测数据;
将所述待检测数据输入到目标数据重建模型中,获取与所述待检测数据对应的目标重建数据,其中,所述目标数据重建模型是用于根据所述待检测数据的特征信息重建所述待检测数据、获得与所述待检测数据对应的重建数据的模型;
获取所述待检测数据与所述目标重建数据之间的重建误差信息;
根据所述重建误差信息,判断所述待检测数据是否为异常数据。
可选的,所述目标数据重建模型通过以下方法获得:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010276395.3/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置