[发明专利]一种数据异常检测方法及终端

说明书

技术领域

本发明涉及电子技术领域，尤其涉及一种数据异常检测方法及终端。

背景技术

随着科技的日益发展，我们已步入互联网时代，而互联网时代的主题是分享，互联网发展的趋势必然是开放模式。在互联网时代，一方面企业需要将其服务和数据资源封装成一系列计算机易识别的数据接口开放出去，供第三方开发者使用以提升自身服务和数据资源的利用率，实现增值；另一方面，企业需要通过数据接口对接各种互联网服务，连接社会化数据资源，融入开放数据生态链，避免陷入信息孤岛，降低数据获取成本。因此让数据资源得到充分整合成为了越来越多企业的迫切需求，而数据接口正是实现数据资源整合的关键。通过开放数据接口(特别是API接口)的方式，可以对数据源和应用进行深挖和再加工，以便能够创造更多的价值。但是由于业务调整、数据接口结构变更、网络故障等种种原因，导致数据接口传输的数据发生数据丢失、乱码、数据类型不合标准等数据异常。尤其是面向用户的客户端展示数据，数据异常会造成相关功能不能正常实现，甚至导致系统出BUG，极大地影响用户体验。因此，在数据交换与共享愈发普遍的情况下，数据的异常检测也愈发重要。

现有的对数据接口，例如API接口返回的数据的异常检测手段主要包括以下三种：1.通过对表征错误代码的字段进行判断以及API接口返回的数据进行简单的非空判断，若符合判断条件即认为该返回数据异常；2.利用大量的API接口返回的数据作为原始数据，从中挖掘出有价值的返回字段之间的相关关系，并提取相关关系的逻辑特征形成关联规则，并基于这些关联规则对该API接口返回的数据进行异常检测；3.通过API接口测试时的数据作为训练集学习返回数据的正常态数据模式，同时应用自适应学习的方法提取异常数据的特征，然后基于所提取的信息对API接口在线返回数据进行检测，若新数据偏离正常态模式或具有异常特征则认为数据异常。以上三种数据的异常检测手段的缺点对应如下：1.判断表征错误代码的字段和数据非空，只能检测到基本的数据异常情况，检测条件机械单一，无法检测出数据类型不合要求、数据长度超过范围等复杂，隐蔽性较强的数据异常，检测效果不如人意；2.需要大量的原始数据作数据挖掘，且要求API接口返回数据的字段之间有较强的关联性，数据之间有层次性，否则所获取的关联规则可信性不高或者可用的关联规则较少，导致容易出现误判情况；3.要求所建立的正常态数据模式有足够的可信性，但是选择不同的数据作为训练集会得出多种正常态数据模式，难以确定一个标准的正常态数据模式，在数据集训练时所需的迭代次数和阈值设置过多，对数据获取频率高的接口检测效率较低。

发明内容

本发明实施例提供一种数据异常检测方法及终端，能够提高数据异常检测质量，提高数据的有效性。

一方面，本发明实施例提供了一种数据异常检测方法，该方法包括：

从数据中提取特征字段；

判断所述特征字段是否符合对应的划分标准，得到判断结果；

根据判断结果获取所述特征字段的正常特征概率和异常特征概率，以及获取所述数据的正常统计概率和异常统计概率；

根据所述正常特征概率和正常统计概率计算所述数据的正常数据概率，以及根据所述异常特征概率和异常统计概率计算所述数据的异常数据概率；

计算所述异常数据概率与正常数据概率的比值；

判断所述比值是否大于阈值，若是，则判定所述数据为异常数据。

另一方面，本发明实施例提供了一种终端，该终端包括：

提取单元，用于从数据中提取特征字段；

判断单元，用于判断所述特征字段是否符合对应的划分标准，得到判断结果；

获取单元，用于根据判断结果获取所述特征字段的正常特征概率和异常特征概率，以及获取所述数据的正常统计概率和异常统计概率；

第一计算单元，用于根据所述正常特征概率和正常统计概率计算所述数据的正常数据概率，以及根据所述异常特征概率和异常统计概率计算所述数据的异常数据概率；

第二计算单元，用于计算所述异常数据概率与正常数据概率的比值；

判定单元，用于若所述比值大于阈值，则判定所述数据为异常数据。