[发明专利]一种云环境下基于时序数据的异常检测系统

说明书

本发明涉及一种云环境下基于时序数据的异常检测系统，所述系统包括以下模块：Collector数据采集模块、数据存储模块、Analyst分析模块以及告警通知模块，所述Collector数据采集模块定时采集所在设备的业务指标数据通过汇聚模块传输到数据存储模块，所述存储模块用于存储时间序列数据，并将数据传送至分析模块，所述Analyst分析器模块用于对时序数据进行分析，通过告警通知模块推送通知消息给用户率。该方案通过算法建立动态模型来做异常检测，提高了数据中心的运维效率，适用于企业私有云、数据中心等集中化运行的环境中，不依赖于固定的经验化的阀值设置；本发明提出的监控系统及动态算法来检测异常，可避免规则化告警的僵化设置。

技术领域

本发明涉及一种检测系统，具体涉及一种云环境下基于时序数据的异常检测系统，属于时序数据异常检测技术领域。

背景技术

随着云技术的发展，数据中心管理的机器规模以指数化的方式增长，同时巨大的运维工作量也让运维成本不断上升。如何能有效的提高自动化运维效率，也成为急需解决的问题。运维的目的是保证生产的平稳运行，系统监控即是最基础的环节。在数据中心，有着海量的基于时间序列的监控指标，这些指标值都是带有时间戳。因此可以分析各种趋势、比例，以及检测异常。在运维工作中，异常检测是关键环节，决定了系统的可靠性。对于时间序列的监控数据，在实际生产环境中，通常是根据经验来设置阀值，当超过或者低于一定阀值的时候产生告警信息。但这种缺乏客观依据的方式，易导致频繁的接受告警信息或者漏掉重要的告警信息。所以，需要一种异常检测机制，能够针对不同的序列类型做出不同的策略的方式，在基于量化的标准的同时，找到异常指标并告警通知用户。如：秒杀活动的情形，一定是非周期性的，如果使用针对周期性的策略，就会判定为不合理的异常，因此，迫切的需要一种新的方案解决上述技术问题。

发明内容

本发明正是针对现有技术中存在的问题，提供一种云环境下基于时序数据的异常检测系统，该系统在私有云环境中部署大量的IT基础设施，包括主机、存储、计算单元等等，基础环境的正常平稳运行是生产的保障，通常都有监控系统实时获取整体系统运行的指标，比如：各个主机的CPU使用率、内存使用率、网络流量等等。这些指标可以做到实时采集，但在告警处理中，目前的私有云产品都是基于阀值的告警方式。本发明提出的监控系统及动态算法来检测异常，可避免规则化告警的僵化设置。

为了实现上述目的，本发明的技术方案如下，一种云环境下基于时序数据的异常检测系统，其特征在于，所述系统包括以下模块：Collector数据采集模块、汇聚模块，数据存储模块、Analyst分析模块以及告警通知模块，本发明的特点在于在采集模块和数据存储模块中间加入了汇聚模块，并不是直接将数据传入存储，所述Collector数据采集模块定时采集所在设备的业务指标数据在，汇聚模块中对数据片段进行规整，数据片段积累到达指定数量，一起压入队列中，另有工作线程对队列监听，将队列中的数据异步传输到数据存储模块，此种架构和发送机制对比直接连接的方式，提供了缓冲，避免频繁传输小数据块，同时对处理性能有提升。存储模块用于存储时间序列数据，并将数据传送至分析模块，所述Analyst分析器模块用于对时序数据进行分析，通过告警通知模块推送通知消息给用户。本发明的核心在于分析模块，采用综合的算法来对不同的时序数据类型做异常分析。

作为本发明的一种改进，所述Collector数据采集模块安装在服务器或工作站的系统中，作为一种agent，定时采集所在设备的业务指标数据，例如CPU利用率、内存利用率、IO数据等，所采集数据都有时间标签，因此为时序数据。

作为本发明的一种改进，所述采集模块上传数据至汇聚模块中，汇聚模块用于收集数据，统一提交到存储，为避免大量小数据量的网络开销，以及数据规整清理工作，汇聚模块内部维护数个队列，采集的时序数据作为片段压入队列中，当队列满的时候，统一提交到存储模块的redis保存。