[发明专利]一种基于时空双重压缩的分布式大数据日志汇聚方法

摘要

一种基于时空双重压缩的分布式大数据日志汇聚方法，属于大数据日志采集和数据压缩处理技术领域，本发明引入了以时间和空间维度分别进行数据压缩的思想，在进行压缩时，充分的将日志数据中的天然信息加以识别，在进行真实的去重算法之前就将数据进行一定程度的优化，将时间字段在算法运行之前就进行归并，同一时间段的数据一块计算，“时间”字段就不会参与到耗费巨大的去重算法中，以此类推，“空间”字段也可以据此优化。这样也改善了去重算法中最关键的“如何确定切分快长度”的问题，整体上提高数压缩的准确率和效率，提升数据压缩的效果，数据经过有效的压缩之后，在传输到汇聚端存储，节约了大量的带宽和存储资源。

主权项

1.一种基于时空双重压缩的分布式大数据日志汇聚方法，其特征是：包括以下步骤，步骤一、建立基于时空双重压缩的分布式大数据日志汇聚系统，包括一个以上的分布式采集客户端、压缩池模块以及汇聚存储端；所述压缩池包括一级去重池和二级去重池；步骤二、分布式采集客户端将全量数据日志Data发送到压缩池模块并标记时间标签和位置标签；步骤三、全量数据日志Data进入一级去重池内，按照时间维度进行分组划分，在同一秒内，将来自不同客户端的Data提取出时间字段，进行分组处理后取值相同，同时也保留设备ID字段在原始文本中，对其余字段进行去重，得到的元数据存储在位置元数据PlaceMetadata表中，获得全量去重后时间序列数据TS‑Data；步骤四、将步骤三获得的全量去重后数据TS‑Data输入到二级去重池，将TS‑Data数据按照步骤三保留的设备ID字段进行分组，系统进行去重算法剔除掉设备ID字段，分组后的每一组数据为来源于每一个设备各时刻的去重后的数据；系统对TS‑Data剔除设备ID字段后的剩余字段进行二次去重，得到的元数据存储在时序元数据TimeMetadata表中，获得经过全量去重后时间空间序列数据TPS‑Data；步骤五、经过步骤三和步骤四进行的时间维度和空间维度双重压缩，经过网络传输到汇聚存储端进行存储。