[发明专利]一种基于NLP的网络日志处理系统及方法

权利要求书

1.一种基于NLP的网络日志处理系统，其特征在于：包括自然语言处理组件和数据库；所述数据库内构建分类词库、预设词义库以及语言处理模型，所述分类词库设定以设备类型的特定对应的多个直译词或以分词处理后派生出的高频词为标准的关键词；所述分类词库与预设词义库映射关联，所述预设词义库与语言处理模型相关联；

自然语言处理组件用于对设备的syslog源数据和日志文件进行归纳分类、分析并确定自然语言语句所包含的含义，

以及获取一定数量的语句训练所述数据库的语言处理模型，自然语言处理组件根据预设词义库将语句获取有效字段进行训练学习，以生成若干个训练词作为关键词，并为关键词生成解析信息，根据关键词和对应的解析信息生成语言处理模型，所述语言处理模型采用神经网络架构；

所述自然语言处理组件还包括采集模块、分割模块以及解析模块；

所述采集模块用于接收设备源的基本信息或训练语句缓存至数据库中，根据预定义规则进行分类处理，同时缓存至分类词库；

所述分割模块用于基于预设词义库对训练语句进行匹配并切分，分割成至少一个训练词作为关键词；

所述解析模块用于对所得的关键词进行解析并生成对应的解析信息，解析信息包括词性标注和词义注解；所述词性标注为关键词在训练语句中的词性，所述词性标注以牛津英汉词典和/或英汉双解微软计算机辞典为定义。

2.根据权利要求1所述的基于NLP的网络日志处理系统，其特征在于：所述采集模块还包括设备确定模块、内容采集单元和关联分析单元，

所述设备确定模块采用设备发现技术获取网络环境中的设备信息，将设备的基本信息存入数据库的分类词库中；

所述内容采集单元从syslog日志服务器监控的网络设备中采集网络日志文件作为语言处理模型训练的数据源，同时采集待分析的语句；

关联分析单元用于构造获取的设备信息与syslog日志文件的属性关联关系。

3.根据权利要求1所述的基于NLP的网络日志处理系统，其特征在于：还包括训练模块，所述训练模块用于将从解析模块获取的解析信息对语言处理模型进行更新，以更新所对应设备的语言处理模型。

4.根据权利要求1所述的基于NLP的网络日志处理系统，其特征在于：所述设备包括但不限于交换机、服务器、网关、路由器和网络安全设备；所述设备网络发现的方式包括但不限于SNMP、ARP和ICMP协议。

5.根据权利要求1所述的基于NLP的网络日志处理系统，其特征在于：所述设备的基本信息包括但不限于设备名、设备类型、设备IP和设备厂家。