[发明专利]一种数据分块方法、装置及终端设备

权利要求书

1.一种数据分块方法，其特征在于，应用于特大数据处理，所述数据分块方法包括：

步骤1：将数据分块并分别存储到C个数据中心，其中C为正整数；

步骤2：将第i个数据中心中所存储的数据块切割成P_i个原始数据子块，并分布式放置在所述第i个数据中心的计算集群中，其中i＝1,2,3,...,C；P₁,P₂,...,P_i均为正整数；

步骤3：选择C个所述数据中心，获取每个所述数据中心中每个原始数据子块中的记录数据，得到C个所述数据中心的原始数据子块中的记录数据，对所述原始数据子块中的每条记录数据有且只有获取一次；

步骤4：根据所述C个所述数据中心的原始数据子块中的记录数据，混合生成随机采样数据块；

步骤5：K次重复步骤1至步骤4，生成K个所述随机采样数据块，并将K个所述随机采样数据块存储在预设数据中心，其中，K为小于等于C的正整数。

2.如权利要求1所述数据分块方法，其特征在于，选择C个所述数据中心，获取每个所述数据中心中每个原始数据子块中的记录数据，得到C个所述数据中心的原始数据子块中的记录数据包括：

计算所述第i个所述数据中心的P_i个所述原始数据子块中获取的记录数据总数，公式为：

S_i＝P₁×b₁+P₂×b₂+P₃×b₃+...+P_i×b_i，

其中，P_i表示第i个所述数据中心的P_i个原始数据子块，b_i表示第P_i个原始数据子块中获取到的记录数据条数；

计算C个所述数据中心的原始数据子块中获取的记录数据总数，公式为：

S＝S₁+S₂+S₃+...+S_i，

其中，S_i表示第i个所述数据中心的P_i个所述原始数据子块中的记录数据总数，i＝1,2,3,...,C。

3.如权利要求2所述数据分块方法，其特征在于，所述第P_i个原始数据子块中包括n_i条记录数据；

所述第P_i个原始数据子块中获取到的记录数据条数b_i小于所述第P_i个原始数据子块中包括的记录数据条数n_i；

在第i个数据中心和第j个数据中心中，其中i，j＝1,2,3,...,C，且i不等于j。

4.如权利要求1所述数据分块方法，其特征在于，所述预设数据中心为所述C个数据中心以外的另外一个数据中心；

或所述预设数据中心为所述C个数据中心中的一个。

5.如权利要求1所述数据分块方法，其特征在于，所述原始数据子块为所述数据块的随机采样。