[发明专利]保存和分析日志数据的系统和方法

说明书

本公开提供一种保存和分析日志数据的系统，该系统包括：日志数据压缩转换部分，用于将日志数据中出现或使用高频次数据使用转换函数将其进行数据压缩后获得新的日志数据结构并存储；日志分析部分，利用指定算法对转换后的日志数据进行重新排列、迭代访问以及排序；以及日志数据解压缩还原部分，利用日志数据压缩转换部分所使用的算法变换的逆变换来还原原始日志数据。本公开通过一种优化存储结构，利用哈希表存储日志，可以大大减少对业务日志的处理时间，解决了大数据的查询和分析的优化问题。

技术领域

本公开涉及保存和分析日志数据的系统和方法，尤其涉及以优化日志存储结构保存和分析日志数据的系统和方法。

背景技术

业务日志作为安全产品的重要组成部分，可以利用它的信息帮助我们有效地管理网络，提高网络安全性。

现有的日志基本都是数据库或者日志文件存储方式，数据库在建表中添加对应的日志字字段并通过数据库语句写入文件，日志文件通过指定的日志格式写入文件。分析日志时按照需求不断解析日志文件并加以统计。

数据库相比文件系统要复杂的多，自然开销也要大些，在大数据的情况下数据库存储的方式并不合适。在文件系统中，访问文件非常简单，相比于数据库开销小，但是在旧有的日志格式下，大数据处理日志信息加以分析效率低下。

无论是解析日志还是查询分析，每次都要重复大量的工作，且每次不同的分析需求都要重新解析查询统计，浪费性能且开销较大。

因此，需要一种技术方案来减少对业务日志的处理时间，从而解决大数据查询和分析的优化问题。

发明内容

本公开就是针对上述技术问题而提出的技术方案。本发明目的是通过一种优化存储结构，利用哈希表存储日志，以减少对业务日志的处理时间，以及大数据的查询和分析的优化问题。本公开通过将原始日志数据转换为新的数据类型，使得转换后的日志数据量减少，以便减少后续日志分析额外的转换支出，并提升对比查询的效率，并且利用多种多样的算法来在各种场景下对转换后的日志数据进行有效处理与分析。

根据本公开的一个方面，提供了一种保存和分析日志数据的系统，该系统包括：日志数据压缩转换部分，用于将日志数据中出现或使用高频次数据使用转换函数将其进行数据压缩后获得新的日志数据结构并存储；日志分析部分，利用指定算法对转换后的日志数据进行重新排列、迭代访问以及排序；以及日志数据解压缩还原部分，利用日志数据压缩转换部分所使用的算法变换的逆变换来还原原始日志数据。

根据本公开的保存和分析日志数据的系统，其中所述日志数据中出现或使用高频次数据包括IP地址或IPv地址。

根据本公开的保存和分析日志数据的系统，其中所述日志数据压缩转换部分将日志和时间统一转换为计算机时间格式，并且将其他端口或者数字直接转化成整数型。

根据本公开的保存和分析日志数据的系统，其中所述日志数据压缩转换部分对于有特定规律特定字符信息仅比较其首个字母并通过内部定义的索引号进行转换。

根据本公开的保存和分析日志数据的系统，其中所述日志数据压缩转换部分对于无规则超长字符串使用CMap将其转换为哈希值来进行索引。

根据本公开的保存和分析日志数据的系统，其中所述数据类型的选择利用函数库来驱动。

根据本公开的保存和分析日志数据的系统，其中所述日志分析部分使用算法stable sort来以指定规则重新排列指定范围内的元素，并保留相等元素之间的顺序关系；使用算法for each来用指定函数依次对指定范围内所有元素进行迭代访问；并且使用哈希表map和他的迭代器iterator统计某一列中字符串出现的次数并支持排序功能。