[发明专利]一种跳过平稳区域的流数据异常检测方法

说明书

本发明公开了一种跳过平稳区域的流数据异常检测方法，通过对窗口中的数据空间进行网格单元划分，得到非空网格单元；在窗口滑动过程中，以非空网格单元的权重累积净变作为区域内数据密度变化程度的度量，跳过更新相对平稳数据区域中数据点的局部可达密度和局部异常因子；仅将含有估计点的θ_K最近邻点的区域用于估计局部异常因子，减少对不必要的数据点进行遍历。最后通过非空网格单元中局部异常异常因子的上下界实现非空网格单元和数据点两个层级的异常检测，即首先识别出包含有前n个异常值的非空网格单元，再检索出前n个异常数据点。本发明解决现有算法难以有效处理大量流数据的难题，使桥梁健康监测系统能高效准确地识别异常数据，以便维护桥梁的健康安全。

技术领域

本发明涉及大数据领域中流数据异常检测技术，尤其涉及一种跳过平稳区域的流数据异常检测方法。

背景技术

随着大数据技术的日益成熟，异常检测已经被广泛应用到金融反欺诈、医疗诊断、网络安全检测、工业健康监测系统等不同领域当中。在桥梁健康监测系统中，为保证时刻监测桥梁的健康状态，大量的传感器装置和超高频的数据传输使得需要采集和处理的数据呈指数级地增长，极大地增加了异常检测时间复杂度和所需计算资源，同时也增加了准确检测出异常点的难度。

目前，流数据异常检测大多采用了滑动窗口的思想，只对当前窗口中的数据进行检测，这样可以极大地减少计算量。尽管如此，为保证一定的准确率，单个窗口中的数据量依旧十分庞大。基于密度的异常检测算法在窗口切换过程中，需要对窗口内所有数据点的密度进行更新，而这一操作的最坏时间复杂度高达O(n²)，其中n为数据点个数。这不仅需要大量的计算资源，还会影响异常检测的时效性，导致错过采取措施应对风险的最佳时机。因此，为确保桥梁健康监测系统能及时准确地识别出异常数据以便于相关专业人员采取措施、应对风险，维持桥梁的健康安全，提出一种具有高准确率和高时效性的流数据异常检测算法具有重要的现实意义。

发明内容

本发明的目的在于克服现有方法的不足，提出了一种跳过平稳区域的流数据异常检测方法，该方法能高效准确地检测出流式数据中异常数据点，解决现有算法难以有效处理大量流数据的难题，使桥梁健康监测系统能高效准确地识别异常数据，以便维护桥梁的健康安全。

本发明的目的是通过以下技术方案来实现的：一种跳过平稳区域的流数据异常检测方法，该方法包括以下步骤：

(1)数据预处理：从桥梁健康监测系统传感器中实时采集数据，根据系统采样频率和需要不同选择若干个采样时间间隔为一个窗口，将所述窗口中的数据进行缺失值补全、归一化操作，得到数据空间X^d；

(2)划分网格单元：将步骤(1)得到的数据空间X^d分为对角线长度为θ_R的d维网格单元，所述网格单元包含非空网格单元kc_i,w_i，其中，i表示非空网格单元的索引，w_i表示第i个非空网格单元的权重，kc_i表示第i个非空网格单元的中心坐标；将非空网格单元集合{kc_i，w_i|i＝1，…，m}作为权重分布网格G；其中，m表示非空网格单元的个数；θ_R为不同场景下非空网格单元个数与窗口中数据点数量之比；