[发明专利]一种数据异常检测方法、装置、设备及存储介质

说明书

本发明实施例提供了一种数据异常检测方法、装置、设备及存储介质，包括：获取待检测指标在第一时段的第一数据及每个候选指标在第二时段的第二数据，候选指标与待检测指标的周期相同，第一时段的时长小于周期，第二时段覆盖第一时段且第二时段的时长大于周期；计算第一数据与第二数据之间的相似度，将相似度最高的预设数量的第二数据对应的候选指标作为相似指标；利用相似指标的第二数据拟合第一数据，得到预测数据；根据预测数据，对待检测指标在第一时段之后的数据进行异常检测。这样，在获取到的待检测指标的数据不足一周期的情况下，利用相似指标大于一周期的数据拟合待检测指标的预测数据，从而可以及时进行数据异常检测。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据异常检测方法、装置、设备及存储介质。

背景技术

在互联网平台中，每天都会产生大量各种指标的数据，其中，一些指标的数据具有时域规律性，也就是说，该指标的数据在不同周期的变化趋势是相同的。这样，通过对这些指标在过去一个周期内的历史数据进行分析，获取该指标的数据特征，可以对新的周期内获取的数据进行检测，从而发现异常数据，采取措施消除或削弱异常，减小异常所造成的损失，保证各项业务正常运转。

但是，目前的数据异常检测方法均依赖于其历史数据，对于任一指标而言，通常需要至少一个周期的历史数据，才能进行特征提取，得到该指标的数据特征并进行异常检测，这种情况下，对新指标而言，由于无法获取到足够的历史数据，也就无法确定该指标的数据特征，进而，无法及时对该指标的数据进行异常检测。

以服务性能监控指标为例，每个服务性能监控指标的周期至少是一天，甚至是一周，那么，需要稳定获取新指标的数据一天甚至是一周后，才能获取到足够的数据进行特征提取，在此期间，即使所获取的新指标的数据发生异常，也无法检测到。

发明内容

本发明实施例的目的在于提供一种数据异常检测方法、装置、设备及存储介质，以实现在获取到的待检测指标的数据不足一周期的情况下，及时对待检测指标的数据进行异常检测。具体技术方案如下：

在本发明实施的第一方面，首先提供了一种数据异常检测方法，所述方法包括：

获取待检测指标在第一时段的第一数据及每个候选指标在第二时段的第二数据，所述候选指标为与所述待检测指标的周期相同的数据指标，所述第一时段的时长小于所述周期，所述第二时段覆盖所述第一时段且所述第二时段的时长大于所述周期；

计算所述第一数据与每个第二数据之间的相似度，将相似度最高的预设数量的第二数据对应的候选指标作为相似指标；

利用所述相似指标的第二数据拟合所述第一数据，得到所述待检测指标的预测数据；

根据所述预测数据，对所述待检测指标在所述第一时段之后的数据进行异常检测。

可选的，所述第二数据为经过去噪处理的数据，所述计算所述第一数据与每个第二数据之间的相似度，包括：

对所述第一数据进行去噪处理，得到去噪数据及噪声信息；

计算所述去噪数据与每个第二数据之间的相似度；

所述利用所述相似指标的第二数据拟合所述第一数据，得到所述待检测指标的预测数据，包括：

利用所述相似指标的第二数据拟合所述第一数据，根据所述噪声信息，对拟合结果进行加噪处理，得到所述待检测指标的预测数据。

可选的，所述第二数据为经过归一化处理的数据，计算所述第一数据与每个第二数据之间的相似度，包括：

对所述第一数据进行归一化处理，按照预设采样规则，对归一化处理后的第一数据进行下采样，得到多个样本第一数据；