[发明专利]一种基于张量分解与知识图谱的网络事件提取方法及系统

说明书

一种基于张量分解与知识图谱的网络事件提取方法及系统，提取方法包括以下步骤：步骤一、从原始日志消息中提取消息模版、设备名以及所属时间段；步骤二、利用提取到的消息模版、设备名以及所属时间段建立三阶张量；步骤三、对建立的三阶张量进行张量分解，得到消息模版‑单设备事件的矩阵A，单设备事件‑设备名‑网络事件的三阶张量B，以及网络事件‑时间段的矩阵C；步骤四、利用消息模版‑单设备事件的矩阵A，单设备事件‑设备名‑网络事件的三阶张量B，以及网络事件‑时间段的矩阵C构建知识图谱，通过知识图谱匹配提取网络事件。本发明能够解决寻找网络异常事件时分析原始日志消息来提取网络事件极为困难的问题。

技术领域

本发明属于网络通信领域，为一种基于张量分解与知识图谱的网络事件提取方法及系统。

背景技术

随着现代信息技术以及互联网的飞速发展，人们对网络的需求与依赖越来越强烈，对网络的安全性以及网络故障处理的速度有着更高的需求。所以，网络维护人员需要更加直观、快速的确认某网络的某段时间内所发生的网络事件以及事件间的影响与结构。但是，网络事件需要从错综复杂的网络日志消息中提取。鉴于不同的供应商会规定不同的日志消息产生的规则，而且路由器、交换机、服务器等设备会产生来自不同位置、不同网络层以及不同协议的各式日志消息；所以，分析复杂的日志消息是一项十分困难的任务。通常，网络管理系统使用简单网络管理协议(如触发器或陷阱)来监视网络运行状况，它无法捕获事件的影响或结构(如网络层、协议以及服务相关性)。如同一个链接的连通与断开是由一个链接摆动事件产生的，但它们可以被分为两个事件，中间可能发生其他事件。所以，这里可以借鉴时空理论，将日志消息视为基础网络事件所引起的空间与时间维度的叠加。时空理论显然有助于更好的诊断网络异常事件，因为它们往往关系多个设备并作用于多个时刻。

目前提取网络事件的常用方法是运用机器学习，这种方法存在运算时间成本高及专业知识要求高的问题。因此期望一种快速、简单的方法来自动处理原始日志消息并提取出所有网络事件；甚至可以获得不同网络事件间的隐含关系。同时可以利用网络事件间的关系、原始日志消息组与事件的关系等构件知识图谱。应用知识图谱可以知道提取到的日志消息组合代表那一个具体事件，也可以得知是已知事件还是未知事件导致的故障，甚至可以利用网络事件的隐含关系来预防异常和维护系统。网络维护人员可以快速得知故障前后网络中发生的所有事件，甚至可以根据知识图谱得到相似的情形，将极大地提高故障处理的速度。

发明内容

本发明的目的在于针对寻找网络异常事件时分析原始日志消息来提取网络事件极为困难的问题，提供一种基于张量分解与知识图谱的网络事件提取方法及系统，能够得到原始日志消息对应的网络事件及其所含隐性关系的知识图谱，方便对网络异常事件的提取与优化。

为了实现上述目的，本发明有如下技术方案：

一种基于张量分解与知识图谱的网络事件提取方法，包括以下步骤：

步骤一、从原始日志消息中提取消息模版、设备名以及所属时间段；

步骤二、利用提取到的消息模版、设备名以及所属时间段建立三阶张量；

步骤三、对建立的三阶张量进行张量分解，得到消息模版-单设备事件的矩阵A，单设备事件-设备名-网络事件的三阶张量B，以及网络事件-时间段的矩阵C；

步骤四、利用消息模版-单设备事件的矩阵A，单设备事件-设备名-网络事件的三阶张量B，以及网络事件-时间段的矩阵C构建知识图谱，通过知识图谱匹配提取网络事件。

优选的，所述的步骤一中的设备名与所属时间段直接从原始日志消息中提取，消息模版提取时对原始日志消息进行预处理，保留固定格式并用特殊符号替换可变参数。

优选的，所述的步骤一中先去除出现频率大于0.01的高频事件，再从剩下的原始日志消息中提取。