[发明专利]一种基于分布式群组的数据去重算法

说明书

本发明公开了一种基于分布式群组的数据去重算法，具体涉及数据去重技术领域，该算法具体采用以下步骤进行数据去重：(1)对待去重的数据组进行过滤清洗，提取出若干个关键节点数据，并基于信任关系组成群组；(2)针对提取出的关键节点数据进行特征加权，并建立指纹签名；(3)对签名进行向量加权到关键节点数据的向量；(4)合并向量相加，得到对应群组最终的向量，并降维得到最终的指纹签名；(5)采用分布式算法来计算各个群组的关键节点数据块的指纹信息。本发明通过采用降维的方式来简化复杂的数据，同时通过分布式算法来优化去重过程中数据的增删，从而大大提高数据的去重效率，并能均衡去重过程中的数据增删。

技术领域

本发明涉及数据去重技术领域，更具体地说，本发明涉及一种基于分布式群组的数据去重算法。

背景技术

近年来，为了处理大量的公文信息，出现了大数据的概念。所谓大数据，是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

由于数据的海量特性，人们仅仅凭一己之力很难对这些数据这些分析，但是在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据逐步为人类创造更多的价值。

尽管用于大数据分析的计算机越来越多，性能越来越好，但是面对海量数据仍然力不从心，因此分析这些公文数据的第一步，是检测和消除其中的重复数据，通过数据去重，一方面是减少存储空间和网络带宽的占用，另一方面是减少数据分析量。

但是在现有的数据去重技术中，由于部分数据较为复杂，导致其去重效率降低，且在去重过程中还不能很好的应对数据的增删情况。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

为了克服现有技术的上述缺陷，本发明的实施例提供一种基于分布式群组的数据去重算法，通过采用降维的方式来简化复杂的数据，同时通过分布式算法来优化去重过程中数据的增删，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于分布式群组的数据去重算法，该算法具体采用以下步骤进行数据去重：

(1)对待去重的数据组进行过滤清洗，提取出若干个关键节点数据，并于各节点数据之间建立一个信任关系，组成多个群组；

(2)针对各群组提取出的关键节点数据进行特征加权，并对提取的关键节点数据进行hash降维01组成的签名；

(3)对每一个签名进行向量加权，以得到每个关键节点数据的向量；

(4)合并所有的特征向量相加，得到对应群组最终的向量，然后降维，从而得到各个群组最终的指纹签名；

(5)采用分布式算法来计算各个群组的关键节点数据块的指纹信息，并于数据块清除之前在群组内确认是否有副本。

在一个优选地实施方式中，上述步骤(3)中进行向量加权时，若是1，则hash和权重正相乘，若是0，则hash和权重负相乘。

在一个优选地实施方式中，上述步骤(4)中进行降维时，对于最终的向量的每一位如果大于0则为1，否则为0。

在一个优选地实施方式中，上述步骤(4)中计算指纹信息时，相同指纹信息的数据块只保留份，其它成员只保留元数据。

本发明的技术效果和优点：