[发明专利]基于日志的智能自适应网络故障定位和分析方法

说明书

技术领域

本发明设计了基于Syslog(系统日志)的网络故障定位的分析模型和方法，主要研究如何对互联网网络设备(交换机、路由器、CMTS)的日志数据进行分析，及时、准确地定位网络质量劣化点，涉及到Syslog协议分析、网络管理以及数据挖掘等技术领域。

背景技术

目前，从外部看，网络环境发生了巨大的变化，经历了由结构的单一到复杂、应用的单一到多样的发展过程，这就要求网络管理员在网络的协议层次结构上对系统管理重新认识，通过适当的策略实现集中式管理，实现事件的实时监控和快速响应的网络管理。但是，网络管理的对象主要由构成网络的硬件和软件组成，包括工作站、服务器、网卡、路由器、交换机等。通常情况下这些设备都分散在不同的地方，而且由于设备众多，要做到实时实地管理需要大量的人力、物力和财力，对网络设备进行远程管理以及对设备状态进行预警有一定困难。因此对于网络管理员来说，网络的运营维护、监测优化成为了一个富有挑战性的问题。

从内部看，各类IT资源、设备飞速膨胀，设备本身产生的日志数量也呈指数级增长。其单独的日志分析结果对安全问题没有太大帮助，而海量日志的产生也使分析成为空想，导致日志只能简单丢弃。如何为不同的网络设备提供统一的事件管理分析平台，打破企业中不同网络设备存在的信息鸿沟，有效地实现全网的服务故障、安全预警、入侵行为的实时发现、入侵事件的动态响应，是摆在众多企业面前亟待解决的问题。

当前的Syslog信息管理和分析机制严重不能适应主动防御网络的要求，主要表现在以下几点：

一、不具备针对网络设备的特点而对接收的Syslog信息进行特别的处理：目前只能按IP地址和时间的不同来区分Syslog信息，不能按照优先级区分和存储Syslog信息。因此大量的普通信息淹没优先级高的信息，使维护人员不能及时发现网络设备的严重事件，延长了突发事件的响应时间。

二、目前的日志审查方式大多以定期方式进行，这样做的缺点是不能及时的分析日志中的信息，尤其在网络故障诊断时，定期审查的方式显得尤为不足。

由上可以看出，采用传统的Syslog信息分析方法很难满足网络管理的需求。因此，必须另辟蹊径。

发明内容

技术问题：本发明的目的是建立基于日志的智能自适应网络故障定位和分析方法，将海量日志数据按照优先级进行存储和深度挖掘，从多个维度分析基于Syslog的日志信息，及时发现网络劣化点，并能动态实时地进行告警。

技术方案：本发明基于日志的智能自适应网络故障定位和分析方法运用多维日志分析方法对日志数据进行统计，采用了哈希表和链表的结构来存储数据，该方法步骤为：

步骤1.统计周期内网络设备日志信息的每个优先级别的事件总数：将周期内的所有发生事件累加，

步骤2.统计事件类型的事件次数最大的N位：这部分采用16位长度的数组作为哈希表，通过将事件类型进行哈希函数运算以后快速定位到相应的链表进行查找，链表中的结点分别保存日志信息的设备地址，源地址，目的地址，事件类型，事件次数；当查找到有相同五元组的结点以后，将事件次数进行累加，若没有查找到相同的结点，则新建一个结点插入链表中；对事件次数排序，存入记录事件类型的事件总数排名前N位的表，

步骤3.统计按源地址分类的事件次数最大的N位：这部分依然采用16位长度的数组作为哈希表，通过将源地址进行哈希函数运算以后快速定位到相应的链表进行查找，链表中的结点保存日志信息的源地址、事件次数；当查找到有相同源地址的结点以后，将事件次数进行累加，若没有查找到相同结点，则新建一个结点插入链表中；对事件次数排序，存入记录源地址的事件总数排名前N位的表，

步骤4.统计按目的地址分类的事件总数最大的N位：这部分依然采用16位长度的数组作为哈希表，通过将目的地址进行哈希函数运算以后快速定位到相应的链表进行查找，链表中的结点保存日志信息的目的地址、事件总数；当查找到有相同目的地址的结点以后，将事件次数进行累加，若没有查找到相同结点，则新建一个结点插入链表中；对事件次数进行排序，存入记录目的地址的事件总数排名前N位的表，

步骤5.统计按端口号分类的事件总数最大的N位：这部分依然采用16位长的数组作为哈希表，链表中的结点用来保存端口号、事件次数；对事件次数进行排序，存入记录端口号的事件总数排名前N位的表，结束。

我们每种数据格式统计事件排名的前N位。管理员能够实时了解到各种统计数据中占比重较大的数据有哪些，有助于发现一些异常情况。