[发明专利]基于改进分层时间记忆网络的CDN流量异常检测装置及方法

说明书

本发明公开了一种基于改进分层时间记忆网络的CDN流量异常检测装置及方法。该装置包括数据采集模块、数据预处理模块、数据存储模块、系统调度模块、异常检测模块和展示模块。方法为：数据采集模块对原生日志进行数据采集，转化为json格式发送至数据预处理模块；进行特征提取，得到CDN流量时间序列表示，数据存储模块对数据采集模块的日志数据和数据预处理模块的CDN数据进行存储；异常检测模块通过系统调度模块获取流量时间序列数据，输入至基于改进分层时间记忆网络的时间序列异常检测模型中进行在线学习，完成异常可能性计算，输出异常可能性判断的检测结果，展示模块对关键过程进行可视化呈现。本发明具有检测速度快、准确率高的优点。

技术领域

本发明涉及CDN流量异常检测技术领域，特别是一种基于改进分层时间记忆网络的CDN流量异常检测装置及方法。

背景技术

近年来，随着互联网基建设施的不断完善，使得数字化战略得到系统阐释，互联网服务持续渗透，网民规模保持稳健增长。为减少因快速增长的用户群体和巨大的数据传输量给网络带来的压力，内容分发网络(Content Delivery Network,CDN)应运而生。CDN通过大规模分布式部署服务器基础设施，使其可以服务于不同位置的互联网。CDN固有的分布性将流行的应用程序和热点内容尽可能靠近用户，极大程度上减少了网络延迟，提高了用户的访问速度和体验质量，节省了视频等大型文件的传输流量。如今CDN已成为互联网基础设施的重要组成部分，互联网流量主要由内容提供商CP和CDN所主导。然而，CDN在面向用户服务时，由于网络异常而影响用户的体验质量的原因包括以下三类：(1)CDN节点意外中断、高峰流量过大导致的网络拥塞而产生的故障异常；(2)热点话题导致服务器节点访问爆炸性增长而产生的突发访问异常；(3)网络不法分子利用特定程序攻击网络导致服务器节点无法响应用户请求而产生的网络入侵异常。

传统的CDN流量异常检测方法存在很多不足，主要体现在以下几个方面：

1、在执行效率上有待进一步的提高，同时无法满足大流量网络链路的异常检测的响应时间要求；

2、在检测算法中，非常依赖检测阈值的确定，如何精确地计算阈值无法给出良好的解决方案；

3、传统的方法重在发现异常，在诊断异常类型的方面涉及很少。

为了解决以上存在的问题，使CDN具有快速准确检测网络流量异常的能力，降低CDN因异常发生而导致大面积网络瘫痪的可能性，对于保障网络的正常运行具有重要意义。

发明内容

本发明的目的在于提供一种检测速度快、准确率高的基于改进分层时间记忆网络的CDN流量异常检测装置及方法。

实现本发明目的的技术解决方案为：一种基于改进分层时间记忆网络的CDN流量异常检测装置，包括数据采集模块、数据预处理模块、数据存储模块、系统调度模块、异常检测模块和展示模块；

所述数据采集模块，使用分布式搜索引擎ElasticSearch、日志解析工具Logstash、分析可视化平台Kbana对Nginx的原生日志进行收集，使用安装在服务器上的Filebeat监视指定的日志文件并获取改动信息；

所述数据预处理模块，用于对原生日志分字段进行数据解析，并将解析出的时间和流量值字段的数据按照时间粒度进行聚合，得到CDN日志流量时间序列；

所述数据存储模块，包括分布式搜索引擎Elasticsearch查询数据库和Mysql普通数据库，其中分布式搜索引擎Elasticsearch查询数据库用于存储日志解析工具Logstash处理过的初始时间序列数据并建立索引，Mysql数据库用于存储流量的初始时间序列和数据预处理模块处理过的基于可变时间粒度聚合的时间序列数据；

所述系统调度模块，通过调用数据存储模块接口获取需要检测的时间序列数据，通过调用异常检测模块接口进行异常检测，并将异常数据作为输入传递给展示模块接口进行可视化输出；