[发明专利]一种日志记录合并方法和系统

说明书

技术领域

本发明涉及网络安全技术领域，特别是涉及一种日志记录合并方法和系统。

背景技术

网络上经常发生危害网络安全的事件，这些事件发生时，往往不是孤立的，它是由若干次相关联的网络行为构成。这些网络行为在网络安全设备中体现为日志记录。在现有的网络安全设备中，对日志记录的处理，通常是直接显示日志记录，或者通过对原始日志记录进行分析，以此得出某种结论。

网络安全设备在实际运行中，产生大量原始日志记录，以供查询显示和后期分析。但是这些日志记录数据量很大，在未经处理直接存储的话，对数据管理和数据分析都带来很大的压力，尤其在某些恶意代码爆发期间，所产生的日志记录可能导致网络安全设备的效能降低，甚至无法设备继续工作。

现有技术中提供了一种日志统计方法和系统，其方法是基于数据库实现的，首先将日志的统计维度保存到字典表中；然后定期按照统计维度，执行统计操作，以生成中间结果；最后的统计使用中间结果进行统计，达到加速统计的效果。

现有技术中还提供了一种管理日志的方法及系统，该方法是一种加速查询的日志管理方法。其方法为：管理系统将具有同一关键字段的原始日志记录映射成一条合并记录作为搜索数据源；在查询时，根据查询条件查找到所述搜索数据源中与所述查询条件对应的合并记录，根据所述合并记录获取与所述查询条件对应的原始日志记录。

在以上两个专利中，均使用统计/合并后的中间结果来加速相应的操作，但是这种统计/合并的操作是针对所有的日志，均采用相同的操作来完成，无法适应针对不同内容的日志，采用不同的合并方法。而且其统计/合并后的中间结果只能用来加速统计或者查询，其本身并不能替代原始日志，无法解决大量数据的管理问题。

发明内容

针对以上不足，本发明要解决的技术问题是提供一种日志记录合并方法和系统，该方法和系统能够在基本保存原始数据的有用信息的情况下，对日志数据进行合并，以减少日志的数据量。

为了解决上述技术问题，本发明提供一种日志记录合并方法，包括：

a、对日志记录中包含的参数进行分类，其中至少包括类型参数；所述类型参数用于表示日志中所记录的事件的类型；

b、建立类型参数和合并规则的对应关系；

c、读取日志记录，并使用日志记录的类型参数所对应的合并规则对日志记录进行合并处理。

进一步的，步骤a中，日志记录中包含的参数还包括地址信息参数；

步骤b中，所述合并规则包括以下五种中的任一种或其任意组合：

平行型，合并参数包括类型参数和地址信息。

聚合型，合并参数包括类型参数和目的地址信息。

辐射型，合并参数包括类型参数和源地址信息。

混合型，合并参数为类型参数和任一地址信息。

独立型，日志记录独立成为一条合并记录；

所述合并参数是指在合并时用于划分日志记录归类的参数。

进一步的，不同的合并规则对应于不同的合并参数；所述合并参数是指在合并时用于划分日志记录归类的参数；

步骤c具体包括：

c1、按时间顺序读取日志记录；

c2、根据日志记录的类型参数确定其所对应的合并规则；

c3、将日志记录合并到具备相同合并参数的合并记录里。

进一步的，步骤c3具体包括：

根据合并规则，提取日志记录中的合并参数，在合并队列中查找具备相同合并参数的合并记录，然后将该日志记录中合并参数部分删去，其它部分放入合并记录；如果查找不到具备相同合并参数的合并记录，则将该日志记录作为一个新的合并记录并放入合并队列。

进一步的，步骤a中，日志记录中包含的参数还包括地址信息参数；

步骤c3中还包括：

对于新的合并记录，在合并记录中增加下列参数中的一个或其任意组合：事件发生次数、源、目的IP/MAC地址的统计数，源、目的端口统计数、合并记录的开始时间、结束时间、IP/MAC地址列表、端口列表；

每合并一个日志记录，就将其所合并到的合并记录的“事件发生次数”参数加一；当日志记录中合并参数之外的IP地址无法在IP地址列表中找到时，将其添加到合并记录中的IP地址列表；当日志记录中合并参数之外的端口无法在端口列表中找到时，将其添加到合并记录中的端口列表。

进一步的，步骤a中，日志记录中包含的参数还包括时间参数；

步骤c中还包括，对合并记录进行时间判断，判断方法为以下两种中的任一种：