[发明专利]一种基于时空双重压缩的分布式大数据日志汇聚方法有效

专利信息
申请号: 201810754050.7 申请日: 2018-07-11
公开(公告)号: CN108897890B 公开(公告)日: 2020-04-24
发明(设计)人: 于富东;匙凯;杨林 申请(专利权)人: 吉林吉大通信设计院股份有限公司
主分类号: G06F16/18 分类号: G06F16/18;G06F16/174
代理公司: 长春市吉利专利事务所 22206 代理人: 李晓莉
地址: 130012 吉林省长春*** 国省代码: 吉林;22
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 时空 双重 压缩 分布式 数据 日志 汇聚 方法
【权利要求书】:

1.一种基于时空双重压缩的分布式大数据日志汇聚方法,其特征是:包括以下步骤,

步骤一、建立基于时空双重压缩的分布式大数据日志汇聚系统,包括一个以上的分布式采集客户端、压缩池模块以及汇聚存储端;所述压缩池包括一级去重池和二级去重池;

步骤二、分布式采集客户端将全量数据日志Data发送到压缩池模块并标记时间标签和位置标签;

步骤三、全量数据日志Data进入一级去重池内,按照时间维度进行分组划分,在同一秒内,将来自不同客户端的Data提取出时间字段,进行分组处理后取值相同,同时也保留设备ID字段在原始文本中,对其余字段进行去重,得到的元数据存储在位置元数据PlaceMetadata表中,获得全量去重后时间序列数据TS-Data;

步骤四、将步骤三获得的全量去重后时间序列数据TS-Data输入到二级去重池,将数据TS-Data按照步骤三保留的设备ID字段进行分组,系统进行去重算法剔除掉设备ID字段,分组后的每一组数据为来源于每一个设备各时刻的去重后的数据;系统对数据TS-Data剔除设备ID字段后的剩余字段进行二次去重,得到的元数据存储在时序元数据TimeMetadata表中,获得经过全量去重后时间空间序列数据TPS-Data;

步骤五、经过步骤三和步骤四进行的时间维度和空间维度双重压缩,经过网络传输到汇聚存储端进行存储。

2.根据权利要求1所述的一种基于时空双重压缩的分布式大数据日志汇聚方法,其特征是:所述步骤二的时间标签为Data所处时段,精度为秒;位置标签为Data的客户端来源,精度为设备ID。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于吉林吉大通信设计院股份有限公司,未经吉林吉大通信设计院股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201810754050.7/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top