[发明专利]确定数据异常的方法及装置

说明书

本说明书实施例提供一种确定数据异常的方法和装置，方法包括：获取预定时间段内的多个数据包，所述多个数据包具有相同数据结构；获取具有所述相同数据结构的历史数据的历史分布；将所述多个数据包与所述历史分布进行比对；根据比对结果，确定是否存在数据异常。所述装置与上述方法相对应。通过上述方法和装置，可以有效地判断出当前数据包中的数据异常。

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及确定数据异常的方法和装置。

背景技术

随着互联网的升级，不同平台之间的数据交互越来越频繁。例如，用户向银行或某个金融平台提交贷款请求，银行或金融平台会将用户的请求数据发送到综合计算平台进行全面评估，来决定是否批准该用户的贷款请求，以及核准的贷款金额。然而，各个平台为了安全性和自身用户保密性的考虑，在将数据发送给其他平台处理之前，往往会对数据进行一些隐私保护处理。这样处理之后的数据会失去其业务含义。接收平台在接收到这些数据之后，很难根据业务规则对数据中是否存在异常进行判断。例如，数据传送过程中是否被攻击，是否被篡改，用户群体是否发生了偏移等。

即使是在同一计算平台中，数据的处理往往要经过业务链中的多个环节。数据也有可能在某个业务环节，或者不同业务环节之间的传输过程中出现异常，例如系统被攻击、模型出现异常等等。

另一方面，在大数据背景下，数据量指数增长，而业务规则又是不断变化难以穷尽的，因此仅通过业务规则来发现数据异常，工作量巨大而不够全面。

因此，需要更有效的方式，对数据的异常进行判断和预警。

发明内容

本说明书一个或多个实施例描述了一种方法和装置，可以不依赖于数据的业务含义，对数据的异常进行判断和预警。

根据第一方面，提供了一种确定数据异常的方法，包括：

获取预定时间段内的多个数据包，所述多个数据包具有相同数据结构；

获取具有所述相同数据结构的历史数据的历史分布；

将所述多个数据包与所述历史分布进行比对；

根据比对结果，确定是否存在数据异常。

根据一种实施方式，将多个数据包与所述历史分布进行比对包括：通过将所述多个数据包代入所述历史分布，获取所述多个数据包在所述历史分布中的多个分布状态参数；将所述多个分布状态参数与预定的与分布状态相关的阈值进行比对，确定超出所述阈值的数据包的数目；所述根据比对结果，确定是否存在数据异常包括：根据所述超出所述阈值的数据包的数目，确定是否存在数据异常。

根据一种实施方式，将所述多个数据包与所述历史分布进行比对包括：确定所述多个数据包的数据分布状态作为当前分布；将所述当前分布与所述历史分布进行比对。

在一种实施例中，将所述当前分布与所述历史分布进行比对包括：确定所述当前分布的分布中心；获取所述历史分布的分布中心；确定所述当前分布的分布中心与历史分布的分布中心之间的偏移；相应地，所述根据比对结果，确定是否存在数据异常包括：响应于所述偏移超出预定偏移阈值，确定存在数据异常。

在另一实施例中，将所述当前分布与所述历史分布进行比对包括：确定随机抽取的数据包在所述当前分布中的分布状态参数，即第一参数；确定该随机抽取的数据包在所述历史分布中的分布状态参数，即第二参数；确定所述第一参数和第二参数的差值；相应地，所述根据比对结果，确定是否存在数据异常包括：响应于所述差值超出预定差值阈值，确定存在数据异常。

根据一种实施方式，所述历史分布是采用混合高斯模型对所述历史数据进行处理得到的历史概率分布；相应地，当前分布体现为采用混合高斯模型对当前多个数据包处理得到的当前概率分布；上述分布状态参数可以体现为概率值；分布中心体现为概率分布曲线的峰值位置。