[发明专利]一种数据分块方法、装置及终端设备

摘要

本发明适用于大数据处理技术领域，提供了一种数据分块方法、装置及终端设备，方法包括：将数据分块并分别存储到C个数据中心；将第i个数据中心中所存储的数据块切割成Pi个原始数据子块，并分布式放置在第i个数据中心的计算集群中；选择C个数据中心，获取每个数据中心中每个原始数据子块中的记录数据，得到C个数据中心的原始数据子块中的记录数据，对原始数据子块中的每条记录数据有且只有获取一次；根据C个数据中心的原始数据子块中的记录数据，混合生成随机采样数据块；K次重复上述步骤，生成K个随机采样数据块，并将K个随机采样数据块存储在预设数据中心。通过本发明能够明显提高数据分块处理的效率。

主权项

1.一种数据分块方法，其特征在于，应用于特大数据处理，所述数据分块方法包括：步骤1：将数据分块并分别存储到C个数据中心，其中C为正整数；步骤2：将第i个数据中心中所存储的数据块切割成P_i个原始数据子块，并分布式放置在所述第i个数据中心的计算集群中，其中i＝1,2,3,...,C；P₁,P₂,...,P_i均为正整数；步骤3：选择C个所述数据中心，获取每个所述数据中心中每个原始数据子块中的记录数据，得到C个所述数据中心的原始数据子块中的记录数据，对所述原始数据子块中的每条记录数据有且只有获取一次；步骤4：根据所述C个所述数据中心的原始数据子块中的记录数据，混合生成随机采样数据块；步骤5：K次重复步骤1至步骤4，生成K个所述随机采样数据块，并将K个所述随机采样数据块存储在预设数据中心，其中，K为小于等于C的正整数。