[发明专利]一种基于消息队列的分布式数据实时去重方法有效
| 申请号： | 201510572334.0 | 申请日： | 2015-09-10 |
| 公开（公告）号： | CN105183858B | 公开（公告）日： | 2018-12-21 |
| 发明（设计）人： | 王大伟;孙昊良;何清林;马秀娟;张良;吴昊;汪立东 | 申请（专利权）人： | 国家计算机网络与信息安全管理中心 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京理工大学专利中心 11120 | 代理人： | 高燕燕 |
| 地址： | 100029*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开一种基于消息队列的分布式数据实时去重方法，根据消息网络接口，配置若干台数据从服务器，并加入消息网络；为每一种需去重的数据配置添加原始数据信息、去重数据信息、去重服务信息；根据原始数据信息，去重数据信息及去重服务信息确定从服务器；原始数据产生者查询重服务信息，并将原始数据发送至相应的原始数据队列；数据从去重服务器查询去重服务信息，从相应的原始数据队列中消费数据，并输入至数据去重引擎，之后将去重后的数据输入到相应的去重数据队列；去重数据消费者查询去重服务信息，并从相应的去重数据队列中消费数据；主服务器根据从服务器信息更新从服务器信息。 | ||
| 搜索关键词： | 一种 基于 消息 队列 分布式 数据 实时 方法 | ||
【主权项】：
1.一种基于消息队列的分布式数据实时去重方法，其特征在于，包括以下步骤：S1.配置一台去重信息服务器；步骤S1还包括步骤：S1.1配置原始数据信息表，该表包括三元组，，其中，Pri‑MagicID为去重服务与原始数据产生者约定的ID，可预先分配；Pri‑MQ为存放原始数据的消息队列；Duration为去重老化时间；S1.2配置去重数据信息表，该表包括二元组，，其中，Inst‑MagicID为去重服务与去重数据消费者约定的ID，可预先分配；Inst‑MQ为存放去重数据的消息队列；S1.3配置去重服务信息表，该表包括三元组，，其中，Pri‑MagicID为去重服务与原始数据产生者约定的ID；Inst‑MagicID为去重服务与去重数据消费者约定的ID；ProcessingHost为从服务器；S1.4配置去重信息服务信息表，该表包括三元组，，其中，ProcessingHost为从服务器，CPU为该服务器当前CPU利用率；Mem为该服务器当前内存使用率；Disk为该服务器当前磁盘使用率；Net为该服务器当前带宽使用率；Time为最后更新时间；S2.配置一台主服务器；S3.根据消息网络接口，配置若干台数据从服务器，并加入消息网络；S4.为每一种需去重的数据配置添加原始数据信息、去重数据信息、去重服务信息；S5.根据原始数据信息，去重数据信息及去重服务信息确定从服务器；S6.原始数据产生者查询重服务信息，并将原始数据发送至相应的原始数据队列；S7.数据从去重服务器查询去重服务信息，从相应的原始数据队列中消费数据，并输入至数据去重引擎，之后将去重后的数据输入到相应的去重数据队列；S8.去重数据消费者查询去重服务信息，并从相应的去重数据队列中消费数据；S9.主服务器根据从服务器信息更新从服务器信息。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于国家计算机网络与信息安全管理中心，未经国家计算机网络与信息安全管理中心许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201510572334.0/，转载请声明来源钻瓜专利网。
