[发明专利]一种数据分块方法、装置及终端设备

说明书

本发明适用于大数据处理技术领域，提供了一种数据分块方法、装置及终端设备，方法包括：将数据分块并分别存储到C个数据中心；将第i个数据中心中所存储的数据块切割成P_i个原始数据子块，并分布式放置在第i个数据中心的计算集群中；选择C个数据中心，获取每个数据中心中每个原始数据子块中的记录数据，得到C个数据中心的原始数据子块中的记录数据，对原始数据子块中的每条记录数据有且只有获取一次；根据C个数据中心的原始数据子块中的记录数据，混合生成随机采样数据块；K次重复上述步骤，生成K个随机采样数据块，并将K个随机采样数据块存储在预设数据中心。通过本发明能够明显提高数据分块处理的效率。

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种数据分块方法、装置及终端设备。

背景技术

在进行数据处理的相关时，传统数据分析的处理方式是直接处理全部数据；然而，随着数据量变大，直接处理全部数据在已经无法满足数据处理量和数据处理效率的要求，因此，Hadoop、Spark等的大数据处理系统采用分块处理的处理方式，将原始的大数据块切成若干个小数据块存储，再由相应的各个计算集群处理，从而将大数据整体的分析任务转变成多个可并行处理的子任务。但是，对于大数据块，如果将特大数据块的处理任务转变成多个可并行处理的子任务，需要多次扫描整个大数据块及其所在的数据中心、得到多个随机采样数据子块，存入一个数据中心，再由该数据中心处理上述的多个随机采样数据子块，实现并行处理。

然而，由于每得到一个随机采样数据子块都需要遍历所有的多个数据中心、扫描整个大数据块，那么随着大数据块尺寸越来越大，例如特大数据块，此时所需要遍历的数据中心的数目也越来越多，传统的数据分块方法工作量大、效率低。

发明内容

本发明的主要目的在于提出一种数据分块方法、装置及终端设备，以解决现有的数据分块方法处理特大数据块时工作量大、效率低的问题。

为实现上述目的，本发明实施例第一方面提供一种数据分块方法，应用于特大数据处理，所述数据分块方法包括：

步骤1：将数据分块并分别存储到C个数据中心，其中C为正整数；

步骤2：将第i个数据中心中所存储的数据块切割成P_i个原始数据子块，并分布式放置在所述第i个数据中心的计算集群中，其中i＝1,2,3,...,C；P₁,P₂,...,P_i均为正整数；

步骤3：选择C个所述数据中心，获取每个所述数据中心中每个原始数据子块中的记录数据，得到C个所述数据中心的原始数据子块中的记录数据，对所述原始数据子块中的每条记录数据有且只有获取一次；

步骤4：根据所述C个所述数据中心的原始数据子块中的记录数据，混合生成随机采样数据块；

步骤5：K次重复步骤1至步骤4，生成K个所述随机采样数据块，并将K个所述随机采样数据块存储在预设数据中心，其中，K为小于等于C的正整数。

结合本发明第一方面，本发明第一方面的第一实施方式中，选择C个所述数据中心，获取每个所述数据中心中每个原始数据子块中的记录数据，得到C个所述数据中心的原始数据子块中的记录数据包括：

计算所述第i个所述数据中心的P_i个所述原始数据子块中获取的记录数据总数，公式为：

S_i＝P₁×b₁+P₂×b₂+P₃×b₃+...+P_i×b_i，