[发明专利]保存和分析日志数据的系统和方法

权利要求书

1.一种保存和分析日志数据的系统，该系统包括：

日志数据压缩转换部分，用于将日志数据中出现或使用高频次数据使用转换函数将其进行数据压缩后获得新的日志数据结构并存储，其中所述日志数据压缩转换部分将日志和时间统一转换为计算机时间格式，并且将其他端口或者数字直接转化成整数型，对于有特定规律特定字符信息仅比较其首个字母并通过内部定义的索引号进行转换，以及对于无规则超长字符串使用CMap将其转换为哈希值来进行索引；

日志分析部分，利用指定算法对转换后的日志数据进行重新排列、迭代访问以及排序；以及

日志数据解压缩还原部分，利用日志数据压缩转换部分所使用的算法变换的逆变换来还原原始日志数据。

2.根据权利要求1所述的系统，其中所述日志数据中出现或使用高频次数据包括IP地址或IPv地址。

3.根据权利要求1所述的系统，其中数据类型的选择利用函数库来驱动。

4.根据权利要求1所述的系统，其中所述日志分析部分使用算法stable sort来以指定规则重新排列指定范围内的元素，并保留相等元素之间的顺序关系；使用算法for each来用指定函数依次对指定范围内所有元素进行迭代访问；并且使用哈希表map和他的迭代器iterator统计某一列中字符串出现的次数并支持排序功能。

5.一种保存和分析日志数据的方法，包括以下步骤：

通过日志数据压缩转换部分将日志数据中出现或使用高频次数据使用转换函数将其进行数据压缩后获得新的日志数据结构并存储，其中所述日志数据压缩转换部分将日志和时间统一转换为计算机时间格式，并且将其他端口或者数字直接转化成整数型，对于有特定规律特定字符信息仅比较其首个字母并通过内部定义的索引号进行转换，以及对于无规则超长字符串使用CMap将其转换为哈希值来进行索引；

通过日志分析部分利用指定算法对转换后的日志数据进行重新排列、迭代访问以及排序；以及

通过日志数据解压缩还原部分利用日志数据压缩转换部分所使用的算法变换的逆变换来还原原始日志数据。

6.根据权利要求5所述的方法，其中所述日志数据中出现或使用高频次数据包括IP地址或IPv地址。

7.根据权利要求5所述的方法，其中数据类型的选择利用函数库来驱动。

8.根据权利要求5所述的方法，其中所述日志分析部分使用算法stable sort来以指定规则重新排列指定范围内的元素，并保留相等元素之间的顺序关系；使用算法for each来用指定函数依次对指定范围内所有元素进行迭代访问；并且使用哈希表map和他的迭代器iterator统计某一列中字符串出现的次数并支持排序功能。