[发明专利]一种安全日志要素处理方法及系统

说明书

本发明提供一种安全日志要素处理方法及系统，采集日志文件；对日志文件进行解析，判断日志文件的类型；如日志文件为未知日志类型，自然语言处理模块对日志文件的要素信息进行分类和提取；资产比对模块对日志文件的要素信息进行验证匹配，匹配出主客体信息；将提取出的日志文件的要素信息和匹配的主客体储存至事件信息库。系统与基于模板的传统日志解析技术相比，基于自然语言处理技术实现的安全日志要素提取方法，能自动对未知日志提取出时间、协议、主体、客体、动作、结果等要素，减少了人的参与程度，结合已备案资产信息可以大幅度提高提取要素的准确性，解决基于模板对未知日志无法处理的难题，实现对未知日志的有效利用。

技术领域

本发明涉及网络安全技术领域，尤其涉及一种安全日志要素处理方法及系统。

背景技术

随机计算机技术的快速发展，以及云计算、物联网、大数据、移动互联网和人工智能等技术的广泛运用，给人们的工作、生活、学习、娱乐等方面带来极大的便利，同时也伴随着许许多多的网络安全问题。尤其对于企业来说，来自内部和外部的网络安全问题会使得组织遭受巨大的损失，还对信息安全构成巨大的威胁。

目前，在企业内部建设了各种各样的信息化系统，满足了日常办公和生产的需要，还有各种安全检查、防护等产品对内部组织形成了有效的安全防护。用户在使用信息化系统的过程中，形成的系统操作日志和应用访问日志等也是用于分析网络安全的重要手段，但是不同信息化系统的日志种类、格式及组织方式各异，再加上信息化系统建设持续不断，面对这种海量、异构的行为数据，如何合理高效的解析并处理成统一的规范化的信息是当前亟待解决的技术问题。

发明内容

本发明提供一种安全日志要素处理方法，方法实现了海量数据模式下对未知日志的高效解析和分类，对网络安全分析和威胁检测等方面提供支持。

方法包括：

采集日志文件；

对日志文件进行解析，判断日志文件的类型；

如日志文件为未知日志类型，自然语言处理模块对日志文件的要素信息进行分类和提取；

资产比对模块对日志文件的要素信息进行验证匹配，匹配出主客体信息；

将提取出的日志文件的要素信息和匹配的主客体储存至事件信息库。

本发明中还涉及提取日志文件中的每个要素信息，并基于行分隔方式对要素信息进行分隔；

将分隔后的日志文件储存至原始日志信息库。

本发明中还涉及对原始日志信息库内的日志文件判断类型；

如日志文件为已知日志类型，基于预设事件处理规则对日志文件的要素信息进行处理；

将处理后的日志文件储存至事件信息库。

本发明中还涉及自然语言处理模块通过CharCNN文本分类模型，实现日志文件的分类。

自然语言处理模块通过时间要素对日志文件的产生时间进行提取。

自然语言处理模块使用HanLP中分词功能产生的关键字提取日志文件中的协议要素。

自然语言处理模块还使用HanLP中文本相似度算法功能提取IP值。

自然语言处理模块提取日志文件中的动作要素和结果类型要素。

本发明中还涉及构建设备资产信息库，设备资产信息库对行为日志的主体和客体信息进行存储；

构建分类及语义词库，分类及语义词库存储设备资产类型信息对应的单词和词语，或者经过分词处理后统计出的高频词的分类词。