[发明专利]一种基于时空双重压缩的分布式大数据日志汇聚方法有效
申请号: | 201810754050.7 | 申请日: | 2018-07-11 |
公开(公告)号: | CN108897890B | 公开(公告)日: | 2020-04-24 |
发明(设计)人: | 于富东;匙凯;杨林 | 申请(专利权)人: | 吉林吉大通信设计院股份有限公司 |
主分类号: | G06F16/18 | 分类号: | G06F16/18;G06F16/174 |
代理公司: | 长春市吉利专利事务所 22206 | 代理人: | 李晓莉 |
地址: | 130012 吉林省长春*** | 国省代码: | 吉林;22 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 时空 双重 压缩 分布式 数据 日志 汇聚 方法 | ||
1.一种基于时空双重压缩的分布式大数据日志汇聚方法,其特征是:包括以下步骤,
步骤一、建立基于时空双重压缩的分布式大数据日志汇聚系统,包括一个以上的分布式采集客户端、压缩池模块以及汇聚存储端;所述压缩池包括一级去重池和二级去重池;
步骤二、分布式采集客户端将全量数据日志Data发送到压缩池模块并标记时间标签和位置标签;
步骤三、全量数据日志Data进入一级去重池内,按照时间维度进行分组划分,在同一秒内,将来自不同客户端的Data提取出时间字段,进行分组处理后取值相同,同时也保留设备ID字段在原始文本中,对其余字段进行去重,得到的元数据存储在位置元数据PlaceMetadata表中,获得全量去重后时间序列数据TS-Data;
步骤四、将步骤三获得的全量去重后时间序列数据TS-Data输入到二级去重池,将数据TS-Data按照步骤三保留的设备ID字段进行分组,系统进行去重算法剔除掉设备ID字段,分组后的每一组数据为来源于每一个设备各时刻的去重后的数据;系统对数据TS-Data剔除设备ID字段后的剩余字段进行二次去重,得到的元数据存储在时序元数据TimeMetadata表中,获得经过全量去重后时间空间序列数据TPS-Data;
步骤五、经过步骤三和步骤四进行的时间维度和空间维度双重压缩,经过网络传输到汇聚存储端进行存储。
2.根据权利要求1所述的一种基于时空双重压缩的分布式大数据日志汇聚方法,其特征是:所述步骤二的时间标签为Data所处时段,精度为秒;位置标签为Data的客户端来源,精度为设备ID。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于吉林吉大通信设计院股份有限公司,未经吉林吉大通信设计院股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810754050.7/1.html,转载请声明来源钻瓜专利网。