[发明专利]一种集合同步方法及装置

说明书

本说明书一个或多个实施例提供一种集合同步方法及装置，通过计数布谷鸟过滤器存储元素的指纹信息和数量信息来表示集合，在计数布谷鸟过滤器中，对比两个集合，得到仅在一个集合中存在的元素，以及在两个集合中均存在，但是存在的数量不相同的元素。交换仅在一个集合中存在的元素，复制在两个集合中均存在，但是存在的数量不相同的元素，从而实现集合同步。

技术领域

本说明书一个或多个实施例涉及数据处理技术领域，尤其涉及一种集合同步方法及装置。

背景技术

集合同步是分布式系统和应用中的基础任务，指的是找出两个数据集合的差异元素，通过相互交换差异元素，最终实现数据同步。

现有的集合同步方法是基于紧凑型数据结构，比如bloom filter(BF，布隆过滤器)及其变种实现的，利用bloom filter(BF，布隆过滤器)生成集合的内容总结，在交换集合数据之后识别差异元素，再交换差异元素实现集合同步。

然而上述方法只能适用于简单集合，简单集合即不允许出现重复的元素的集合。如果集合中允许出现重复的元素，我们称这种集合为多重集合。紧凑型数据结构如bloomfilter(BF，布隆过滤器)的比特向量不能记录数量超过一的元素，因而不能有效表示多重集合中元素的数量，因此不适用于实现多重集合的同步。

发明内容

有鉴于此，本说明书一个或多个实施例的目的在于提出一种集合同步方法及装置，以解决不能同步多重集合的问题。

基于上述目的，本说明书一个或多个实施例提供了一种集合同步方法，包括：

将本地集合插入到本地计数布谷鸟过滤器中；

接收异地终端设备发送的异地计数布谷鸟过滤器，异地计数布谷鸟过滤器中插入了异地集合；

在本地计数布谷鸟过滤器和异地计数布谷鸟过滤器中，对比本地集合和异地集合中的元素；

将仅在本地集合中存在的元素，添加到差异元素集合，添加的数量为元素在本地集合中的数量；

将在本地集合和异地集合中均存在，但是在本地集合中的数量小于在异地集合中的数量的元素，添加到相同元素集合，添加的数量为两者数量之差；

发送差异元素集合至异地终端设备；

将相同元素集合添加到本地集合中。

优选地，将本地集合插入到本地计数布谷鸟过滤器中，包括：

利用哈希函数，生成本地集合中的元素的指纹和元素的数量信息；

将本地计数布谷鸟过滤器的槽位分为指纹区和计数区；

将指纹插入到指纹区；

将数量信息插入到计数区。

优选地，在本地计数布谷鸟过滤器和异地计数布谷鸟过滤器中，对比本地集合和异地集合中的元素；将仅在本地集合中存在的元素，添加到差异元素集合，添加的数量为元素在本地集合中的数量；将在本地集合和异地集合中均存在，但是在本地集合中的数量小于在异地集合中的数量的元素，添加到相同元素集合，添加的数量为两者数量之差，包括：

获取本地集合的根集；根集包括本地集合中出现的元素，但不包含重复元素；根集中的每个元素，均为被查询元素；

在异地计数布谷鸟过滤器中，分别查询被查询元素所对应的指纹，以及所对应的数量信息，得到被查询元素在异地集合中的数量；

如果被查询元素在异地集合中的数量为零，则被查询元素为仅在本地集合中存在的元素；