[发明专利]基于改进分层时间记忆网络的CDN流量异常检测装置及方法

摘要

本发明公开了一种基于改进分层时间记忆网络的CDN流量异常检测装置及方法。该装置包括数据采集模块、数据预处理模块、数据存储模块、系统调度模块、异常检测模块和展示模块。方法为：数据采集模块对原生日志进行数据采集，转化为json格式发送至数据预处理模块；进行特征提取，得到CDN流量时间序列表示，数据存储模块对数据采集模块的日志数据和数据预处理模块的CDN数据进行存储；异常检测模块通过系统调度模块获取流量时间序列数据，输入至基于改进分层时间记忆网络的时间序列异常检测模型中进行在线学习，完成异常可能性计算，输出异常可能性判断的检测结果，展示模块对关键过程进行可视化呈现。本发明具有检测速度快、准确率高的优点。

主权项

1.一种基于改进分层时间记忆网络的CDN流量异常检测装置，其特征在于，包括数据采集模块、数据预处理模块、数据存储模块、系统调度模块、异常检测模块和展示模块；/n所述数据采集模块，使用分布式搜索引擎ElasticSearch、日志解析工具Logstash、分析可视化平台Kbana对Nginx的原生日志进行收集，使用安装在服务器上的Filebeat监视指定的日志文件并获取改动信息；/n所述数据预处理模块，用于对原生日志分字段进行数据解析，并将解析出的时间和流量值字段的数据按照时间粒度进行聚合，得到CDN日志流量时间序列；/n所述数据存储模块，包括分布式搜索引擎Elasticsearch查询数据库和Mysql普通数据库，其中分布式搜索引擎Elasticsearch查询数据库用于存储日志解析工具Logstash处理过的初始时间序列数据并建立索引，Mysql数据库用于存储流量的初始时间序列和数据预处理模块处理过的基于可变时间粒度聚合的时间序列数据；/n所述系统调度模块，通过调用数据存储模块接口获取需要检测的时间序列数据，通过调用异常检测模块接口进行异常检测，并将异常数据作为输入传递给展示模块接口进行可视化输出；/n所述异常检测模块，通过系统调度模块获取流量时间序列数据，并采用改进分层时间记忆网络模型进行在线学习，完成异常可能性计算，并输出异常可能性判断的检测结果；/n所述展示模块，对关键过程进行可视化呈现，包括日志数据展示、日志数据清洗展示、时间序列展示和异常检测结果展示。/n