[发明专利]一种数据处理方法及装置

说明书

本发明提供了一种数据处理方法及装置，该方法包括：获取目标数据集中的三元组数据的数量；根据该三元组数据的数量确定从该目标数据集中抽取三元组数据的初始步长；根据该初始步长确定每次抽取三元组数据的目标步长；分别以该初始步长与该目标步长从该目标数据集中抽取三元组数据，并将抽取到的该三元组数据存储到抽样缓存中；将该抽样缓存中的目标三元组数据分配到多个服务器中，通过该多个服务器对数据进行处理，可以解决相关技术中在数据集中数据量较大时，通过服务器处理从数据集中抽取的数据无法代表对数据集中全部数据处理的结果，导致服务器处理强度大的问题，降低了服务器处理数据的强度，提高了数据处理效率。

技术领域

本发明涉及通信技术领域，具体而言，涉及一种数据处理方法及装置。

背景技术

数据集(Data Set)是由n个数据元素(Element)组成的集合，其中每个元素都有一个单独的标识号(ID)。

倾斜数据集(Skewed Data Set)和数据集的区别在于，它的元素有可能是无效的元素不能够被抽样。

一般情况下，是将数据集均分到服务器中处理，获取将统一目标对象的数据分配给一个服务器处理，但是无论上述哪种分配方式，在数据集的数据量很大的情况下，服务器处理的压力都会比较大。

相关技术中通过将数据集中抽取具备代表性的数据分配给服务器处理，从而降低服务器处理的压力，但是相关技术中如下几种抽样方式：

1，简单随机抽样，取一个随机数k，该数大于0且小于数据集的小n；对ID为k的元素进行抽样；重复前两步，直到抽样缓存披填满为止。

2,系统抽样，按照步长s＝x/n进行抽样，即每s个元素读取一个元素，直到n次后抽样缓存为满。

3，集群抽样，使用某种方式(例如哈希算法)，把数据集中的元素分为若干群(群的数量等于哈希值的范闱)；随机选取群，对群中所有的元素进行抽样，立到抽样缓存被填满为止。

4，分层抽样，将数据集中的元素均匀分为若干个群(例如.以元索ID整除10的余数为标准)；对群中的元素进行简单随机抽样或者系统抽样。

但是上述抽样方式仅适用于非倾斜数据集，而无法满足倾斜数据集的情况。尤其是，没有一种方式能满足均匀性的要求。

故通过上述抽取方式获取到的数据的代表性不是很高，导致服务器对抽取处理的数据的处理无法代表对数据集中全部数据处理的结果。

针对相关技术中在数据集中数据量较大时，在数据集中数据量较大时，通过服务器处理从数据集中抽取的数据无法代表对数据集中全部数据处理的结果，导致服务器处理强度大，导致服务器处理强度大的问题，尚未提出解决方案。

发明内容

本发明实施例提供了一种数据处理方法及装置，以至少解决相关技术中在数据集中数据量较大时，通过服务器处理从数据集中抽取的数据无法代表对数据集中全部数据处理的结果，导致服务器处理强度大的问题。

根据本发明的一个实施例，提供了一种数据处理方法，包括：

获取目标数据集中的三元组数据的数量，其中，所述三元组数据包括元素、键K、数据；

根据所述三元组数据的数量确定从所述目标数据集中抽取三元组数据的初始步长；

根据所述初始步长确定每次抽取三元组数据的目标步长，其中，所述目标步长不等于所述初始步长；

分别以所述初始步长与所述目标步长从所述目标数据集中抽取三元组数据，并将抽取到的所述三元组数据存储到抽样缓存中，直到所述抽样缓存的剩余空间为0或所述目标步长为1；

将所述抽样缓存中的目标三元组数据分配到多个服务器中，通过所述多个服务器对数据进行处理。