[发明专利]一种基于时空双重压缩的分布式大数据日志汇聚方法

说明书

一种基于时空双重压缩的分布式大数据日志汇聚方法，属于大数据日志采集和数据压缩处理技术领域，本发明引入了以时间和空间维度分别进行数据压缩的思想，在进行压缩时，充分的将日志数据中的天然信息加以识别，在进行真实的去重算法之前就将数据进行一定程度的优化，将时间字段在算法运行之前就进行归并，同一时间段的数据一块计算，“时间”字段就不会参与到耗费巨大的去重算法中，以此类推，“空间”字段也可以据此优化。这样也改善了去重算法中最关键的“如何确定切分快长度”的问题，整体上提高数压缩的准确率和效率，提升数据压缩的效果，数据经过有效的压缩之后，在传输到汇聚端存储，节约了大量的带宽和存储资源。

技术领域

本发明属于大数据日志采集和数据压缩处理技术领域，特别是涉及到一种基于时空双重压缩的分布式大数据日志汇聚方法。

背景技术

大数据时代的分布式日志汇聚过程中，来源于多个采集客户端的海量日志数据，并发的源源不断的向目标端汇聚传输，带来了带宽上的巨大压力，同时也向汇聚端的存储空间带来了严峻挑战，甚至会引起生产系统的运行不稳定。

目前，针对于分布式大数据日志汇聚的方法主要为以下三种：

(1)多采集客户端→汇聚端存储

使用ELK等日志采集和索引组件实现分布式日志汇聚：

Logstash安装在采集处，作为client，进行日志的搜集、过滤，client端安装在需要收集日志的主机上，Logstash的server端负责将收到的各节点日志一并发往Elasticsearch上。Elasticsearch进行数据的分布式搜索引擎建模，提供搜集、存储功能。Kibana完成日志展示和检索的Web界面，即所有的数据传输和存储，以及优化都是在开源组件ELK内部实现的。

(2)多采集客户端→汇聚端存储→汇聚端本地压缩

在数据从多分布式的采集客户端采集之后传输到汇聚存储端，而后再采用通用的数据压缩算法进行日志的压缩，实现数据的大幅减少，达到节省存储资源的目的。

在进行压缩的时候，往往采取通用的去重类算法，纯粹的针对每一条日志的文本内容，与当前时间前的数据进行全量匹配，计算去重值，往往计算量大，具体的算法描述如下，假设原始数据Data为：