[发明专利]一种基于滑动窗口的自适应在线异常检测方法

说明书

本发明公开了一种基于滑动窗口的自适应在线异常检测方法。技术方案是先构建由控制节点、数据节点和检测节点组成的数据流异常检测系统；控制节点向数据节点发送窗口数据初始化请求；数据节点向检测节点发送窗口初始化数据和初始化请求；检测节点存储滑动窗口中的数据；检测节点进行异常检测，将检测结果发送给控制节点；控制节点将检测结果返回给用户；如果控制节点接收到异常检测结束请求，则停止异常检测，否则向数据节点发送窗口数据更新请求，由数据节点向检测节点发送窗口更新数据和更新请求，检测节点根据是否出现异常爆发采用不同策略对滑动窗口进行数据更新。采用本发明可实时检测异常爆发，有效提高异常检测的准确率和效率。

技术领域

本发明涉及数据流的异常检测技术，尤其是基于滑动窗口的自适应在线异常检测方法。

背景技术

异常数据是指观测数据中与大部分数据不一样、不符合期望的数据点，异常检测旨在挖掘出异常数据。随着信息采集技术的迅速发展，在金融、医疗、互联网、物流、气象、天文等各个领域陆续出现了大量动态产生的数据流数据。与传统的静态数据相比，数据流数据具有快速到达、总量无限、一次处理等特征，不仅数据的产生频率和传输速率迅速，而且对数据处理的实时性要求高，数据的时效性特点日益明显。如何在数据流上进行在线异常检测，满足数据流的时效性对数据分析的高效性的迫切需求，受到越来越多的关注，已经成为数据分析领域的热点研究方向。

在数据流环境下，根据检测方法面向的数据集合不同，异常检测可以分为全局异常检测和窗口异常检测两种。全局异常检测旨在发现整个数据流中的异常数据，需要保存全部历史数据，存储开销较大，检测时间较长；窗口异常检测旨在发现滑动窗口中的异常数据，不需保存全部历史数据，存储开销小，检测效率高，可用性好，在各领域得到广泛应用。异常检测对异常点的检测是基于“少而不同”的基本特点的，最具代表性的方法是均值偏差法，就是依据数据与平均值的偏差程度进行异常点判定，简单高效，在许多领域得到广泛应用。由于窗口异常检测是对滑动窗口中的局部数据进行检测，当遇到异常爆发的情况，传统的窗口异常检测方法容易出现检测错误，严重影响异常检测的准确率。

因此，如何针对异常爆发的问题，设计基于滑动窗口的自适应在线异常检测方法，有效提高大规模数据流的异常检测的准确率和效率，已经成为大数据分析领域的热点研究问题。

发明内容

本发明要解决的技术问题是：针对数据流异常检测中的异常爆发问题，提出一种基于滑动窗口的自适应在线异常检测方法，有效提高大规模数据流的异常检测的准确率和效率。

本发明技术方案包括以下步骤：

第一步，构建一个数据流异常检测系统，它由一个控制节点、一个数据节点和一个检测节点组成，每个节点都是一台可独立运行的计算机，各节点通过网络设备互连。

控制节点、数据节点和检测节点上均安装有操作系统、TCP/IP协议软件，配置了网络环境。

控制节点负责与用户交互，接收用户提交的异常检测请求，并向数据节点发送窗口数据初始化请求；负责接收用户提交的异常检测结束请求，停止异常检测；负责接收检测节点发送的检测结果，并将检测结果返回给用户，向数据节点发送窗口数据更新请求。

数据节点负责接收采集设备发送的数据，接收控制节点发送的窗口数据初始化请求，向检测节点发送窗口初始化数据和窗口数据初始化请求；接收控制节点发送的窗口数据更新请求，向检测节点发送窗口更新数据和窗口数据更新请求。

检测节点负责接收数据节点发送的窗口初始化数据和窗口数据初始化请求，对滑动窗口进行初始化；负责在滑动窗口内进行异常检测，并将检测结果发送给控制节点；负责检测滑动窗口中是否出现异常爆发，接收数据节点发送的窗口更新数据和窗口数据更新请求，并根据检测结果选择不同策略对滑动窗口进行数据更新。