[发明专利]一种基于时空双重压缩的分布式大数据日志汇聚方法

权利要求书

1.一种基于时空双重压缩的分布式大数据日志汇聚方法，其特征是：包括以下步骤，

步骤一、建立基于时空双重压缩的分布式大数据日志汇聚系统，包括一个以上的分布式采集客户端、压缩池模块以及汇聚存储端；所述压缩池包括一级去重池和二级去重池；

步骤二、分布式采集客户端将全量数据日志Data发送到压缩池模块并标记时间标签和位置标签；

步骤三、全量数据日志Data进入一级去重池内，按照时间维度进行分组划分，在同一秒内，将来自不同客户端的Data提取出时间字段，进行分组处理后取值相同，同时也保留设备ID字段在原始文本中，对其余字段进行去重，得到的元数据存储在位置元数据PlaceMetadata表中，获得全量去重后时间序列数据TS-Data；

步骤四、将步骤三获得的全量去重后时间序列数据TS-Data输入到二级去重池，将数据TS-Data按照步骤三保留的设备ID字段进行分组，系统进行去重算法剔除掉设备ID字段，分组后的每一组数据为来源于每一个设备各时刻的去重后的数据；系统对数据TS-Data剔除设备ID字段后的剩余字段进行二次去重，得到的元数据存储在时序元数据TimeMetadata表中，获得经过全量去重后时间空间序列数据TPS-Data；

步骤五、经过步骤三和步骤四进行的时间维度和空间维度双重压缩，经过网络传输到汇聚存储端进行存储。

2.根据权利要求1所述的一种基于时空双重压缩的分布式大数据日志汇聚方法，其特征是：所述步骤二的时间标签为Data所处时段，精度为秒；位置标签为Data的客户端来源，精度为设备ID。