[发明专利]一种数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，包括：

获取目标数据集中的三元组数据的数量，其中，所述三元组数据包括元素、键K、数据；

根据所述三元组数据的数量确定从所述目标数据集中抽取三元组数据的初始步长；

根据所述初始步长确定每次抽取三元组数据的目标步长，其中，所述目标步长不等于所述初始步长；

分别以所述初始步长与所述目标步长从所述目标数据集中抽取三元组数据，并将抽取到的所述三元组数据存储到抽样缓存中，直到所述抽样缓存的剩余空间为0或所述目标步长为1；

将所述抽样缓存中的目标三元组数据分配到多个服务器中，通过所述多个服务器对数据进行处理。

2.根据权利要求1所述的方法，其特征在于，将所述抽样缓存中的目标三元组数据分配到多个服务器中包括：

将所述目标三元组数据中相同的所述键K对应的数据分配到所述多个服务器中的同一服务器中；

将所述目标三元组数据中不同的所述键K对应的数据分配到所述多个服务器中的不同服务器中。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将抽取到的所述三元组数据存储到所述抽样缓存中的同时，统计所述抽样缓存中每个键K的数量；

丢弃所述数量大于预定数量的目标键K对应的三元组数据。

4.根据权利要求1至3中任一项所述的方法，其特征在于，根据所述三元组数据的数量确定从所述目标数据集中抽取三元组数据的初始步长包括：

通过以下方式从小于所述三元组数据的数量的元素中获取最大2的指数对应的目标元素：

x₀为所述目标元素，n为所述三元组数据的数量；

将所述目标元素确定为所述初始步长。

5.根据权利要求4所述的方法，其特征在于，根据所述初始步长确定每次抽取三元组数据的目标步长包括：

通过以下方式根据所述初始步长确定每次抽取所述三元组数据的第i-1目标步长：

x_i-1为第i次抽取的目标步长，i为大于1的整数，

6.根据权利要求4所述的方法，其特征在于，分别以所述初始步长与所述目标步长从所述目标数据集中抽取三元组数据，并将抽取到的所述三元组数据存储到抽样缓存中，直到所述抽样缓存的剩余空间为0或所述目标步长为1包括：

以所述初始步长从所述目标数据集中第一次抽取三元组数据，并将抽取到的所述三元组数据存储到所述抽样缓存中；

以第1目标步长从所述目标数据集中第二次抽取除所述元素能够被所述初始步长整除之外的三元组数据，并将抽取到的所述三元组数据存储到抽样缓存中；

重复以第i目标步长从所述目标数据集中抽取除所述元素能够被第i-1目标步长整除之外的三元组数据，并将抽取到的所述三元组数据存储到所述抽样缓存中，直到所述第i目标步长为1或所述抽样缓存的剩余空间为0；

i＝i+1。

7.一种数据处理装置，其特征在于，包括：

获取模块，用于获取目标数据集中的三元组数据的数量，其中，所述三元组数据包括元素、键K、数据；

第一确定模块，用于根据所述三元组数据的数量确定从所述目标数据集中抽取三元组数据的初始步长；

第二确定模块，用于根据所述初始步长确定每次抽取三元组数据的目标步长，其中，所述目标步长不等于所述初始步长；

抽取模块，用于分别以所述初始步长与所述目标步长从所述目标数据集中抽取三元组数据，并将抽取到的所述三元组数据存储到抽样缓存中，直到所述抽样缓存的剩余空间为0或所述目标步长为1；

分配模块，用于将所述抽样缓存中的目标三元组数据分配到多个服务器中，通过所述多个服务器对数据进行处理。

8.根据权利要求7所述的装置，其特征在于，所述分配模块包括：

第一分配模块，用于将所述目标三元组数据中相同的所述键K对应的数据分配到所述多个服务器中的同一服务器中；

第二分配模块，用于将所述目标三元组数据中不同的所述键K对应的数据分配到所述多个服务器中的不同服务器中。