[发明专利]一种按照hash规则切分数据使其更均匀的方法

权利要求书

1.一种按照hash规则切分数据使其更均匀的方法，其特征在于包括以下步骤：

S1、对待划分数据进行采样，采样过程中记录下相同的待划分数据出现的次数；

S2、对采样后的数据按照出现次数进行排序，形成topN数据信息；

S3、结合配置内存大小和数据数量进行hash桶数量评估；

S4、根据hash桶数量及topN数据信息通过哈希算法切分为数据块文件，统计每个数据块文件中数据的平均数据条数；

S5、根据设定的条件，判断每个数据块文件中数据集的平均数据条数是否符合要求，若符合要求则重复步骤S2-S4，否则完成切分。

2.根据权利要求1所述的一种按照hash规则切分数据使其更均匀的方法，其特征在于，步骤S1中采样时按比例进行采样，采样过程具体包括以下步骤：

第一步，确定采样条数：根据数据总量，取数据总量的10％作为要采样的总条数；

第二步，计算采样点：将总数据条数按照100份进行分配，选取每一份数据条数为起始位置，作为采样的起始点；

第三步，计算每个采样点的需采样的数据条数：将计算出来的采样数据条数除以100，得到每个采样点需要采样的数据条数。

3.根据权利要求1所述的一种按照hash规则切分数据使其更均匀的方法，其特征在于，步骤S3中进行hash桶数量评估通过以下评估公式得到：

hash桶数量＝(总数据条数*(1-数据重复率))/内存中能装下的数据条数。

4.根据权利要求3所述的一种按照hash规则切分数据使其更均匀的方法，其特征在于，步骤S4中哈希算法切分为数据块文件的过程如下：

从topN数据中取出一条数据，通过哈希算法计算数据的hash值，使用crc32算法得到一个整数值；把整数值除以hash桶数量，得到桶的编号，根据桶的编号，把数据放入对应的桶中。

5.根据权利要求1所述的一种按照hash规则切分数据使其更均匀的方法，其特征在于，步骤S5中设定的条件为：超出平均数据条数倍数的数据。