[发明专利]一种网络安全日志数据的聚合处理方法

权利要求书

1.一种网络安全日志数据的聚合处理方法，其特征在于，包括以下步骤：

S110.基于预先设置的配置获取不同类型的日志数据，预先设置的配置包括日志数据种类、获取数据的时间范围和频率、数据的获取方式内容，具体包括以下步骤：

S210.根据各类型日志数据的信息设定相关配置，各类型日志数据包括网络实体基本信息属性数据，网络属性数据和安全属性数据多种类型的日志数据，进行配置时对各种类型的数据的实际存储场景及获取方式、获取频率进行分析，完成相关配置的设定工作；

S220.读取配置内容进行任务调度处理，读取各类型日志数据，根据配置中已经设定好的任务执行频率、执行时间内容创建相关任务开始执行，进行制定类型的日志数据获取；

S230.任务根据配置中日志的获取方式进行数据获取，任务执行后需要按照配置中的日志获取方式获取日志数据；日志的获取方式包括实时数据获取和离线数据获取两种，其中实时数据获取包括直连数据库查询和调用API接口获取；离线数据获取通过对离线数据文件进行读取后实现；

S120.对不同来源的同种类型日志数据进行规范化处理，针对相同种类的日志数据，存在多种数据来源的情况，把同种类型的数据进行结构的统一，数据规范化处理将获取到的数据进行规范化，通过集群式环境的各个节点并行对数据进行处理后整合为当前日志种类通用结构的规范化数据集，具体包括以下步骤：

S310.获取至少一个来源的待规范化日志数据；

S320.根据待规范化日志数据的日志类型构建通用结构的信息索引；

S330.根据服务器的集群节点多线程地将数据源进行分片处理；

S340.整合各节点的数据获得规范化数据集；

S130.构建模型对日志数据进行分析提取核心内容，核心内容具体包括，漏洞攻击相关日志数据和恶意样本传播相关日志数据，核心内容根据实际需要进行配置；所述漏洞攻击相关日志数据中的主体为攻击者IP、被攻击者IP和使用的漏洞；所述恶意样本传播相关日志数据的主体为样本的MD5值、样本家族和样本类型，具体包括以下步骤：

S410.根据实际分析场景构建不同类型日志数据核心内容提取模型，日志数据核心内容模型的构建结合各类型日志的实际分析场景进行综合性的分析后确定，不同类型的日志模型中所包含的特征向量不同；

S420.确定日志数据的数据说明信息提取相应的协议信息，对于日志数据的协议头部信息进行提取，根据其中的数据类型信息，判定内容是否为文本信息，并根据数据说明信息创建相应的协议信息集，初始化其中的数据类型、数据编码、数据长度信息；

S430.提取数据内容后根据协议信息集的内容进行解码；

S440.根据模型中构建的相应特征值对日志内容进行计算后提取核心内容；

S140、根据会话关系及日志的核心内容对数据进行分组聚合处理，聚合处理对待处理的规范化数据进行分块，利用分布式环境下预先配置好的相关框架对分块后的数据进行分组聚合函数的计算，最后对计算结果进行整合，具体包括以下步骤：

S510.把规范化数据集进行分块并分配到多个计算节点；使用包含有多个集群节点的集群服务器进行数据聚合处理，集群节点的负载状态包括处理器的使用率、可用线程数量信息，根据负载状态，均衡分配每个集群节点的数据聚合处理任务；

S520、根据各类日志的主体信息对数据块进行分组聚合函数的计算；分组聚合函数的计算为分组求和、分组求算数平均值和分组求最值，分别使用相应的聚合函数；

步骤530、整合各节点的计算结果得到最终的聚合数据结果集，按照分块时确定的信息，整合各节点的计算结果，对整合的结果再次进行聚合，从而生成最终的完整数据集；

S150.对非核心内容的细节信息进行内容压缩处理。

2.根据权利要求1所述的方法，其特征在于，步骤S150所述对非核心内容的细节信息进行内容压缩处理具体包括以下步骤：

S610.按照细节信息重要程度及实际场景提炼细节信息；

S620.读取原始细节信息数据使用支持的压缩算法进行压缩得到二进制数组；

S630.采用支持的编码工具对二进制数组进行编码得到字符串文本；

S640.字符串文本拼接压缩算法和编码方式得到压缩文本，压缩文本和提炼细节整合分组结果后存储。