[发明专利]一种按照hash规则切分数据使其更均匀的方法

说明书

本发明提供了一种按照hash规则切分数据使其更均匀的方法，首先根据设置的内存大小去计算出hash桶的数量，然后将待切分的数据集合进行采样，在采样过程中，记录下相同数据出现的次数，然后把记录下来的数据和数据的出现次数按照出现次数进行排序，将顶端的数据进行记录形成topN数据信息，然后在进行单独划分形成独立的hash数据块。本发明所述的一种按照hash规则切分数据使其更均匀的方法，各数据块切分得更均匀可以使得多个线程可以在同一时间完成工作，避免单个线程由于划分的数据量巨大使得处理时间过长的问题。

技术领域

本发明属于数据库领域，尤其是涉及一种按照hash规则切分数据使其更均匀的方法。

背景技术

数据库的join操作是指查询过程中将两个表进行关联，形成一个迪卡尔积的两个表的行的集合，通常再加上where条件来过滤掉不需要的行，来获得真正所需要的两个表的行的组合。

在进行两表的关联查询时，通常会指定两表的连接条件，很多情况下为两表相关列的一个等值条件，例如select*from t1,t2 where t1.a＝t2.a，在数据库内核中进行处理时，是通过多线程并行计算处理的，在启动多线程处理之前，需要将两个表的数据进行切分，使得相同数值的数据可以落到同一线程中处理，这个过程通常采用hash算法来进行切分，使相同hash值的数据放入同一个数据块。

但这样带来的问题是，某些hash值相同的数据过于庞大，可能存在切分出来的数据块不均匀，使得线程在计算处理这些数据块时就要比别的线程耗费较多的时间，系统整体的效率则因为这个线程而受到影响，形成木桶效应，因此更均匀的数据划分则会提高系统效率。

另外hash桶数量的设置也影响着系统的效率，如果hash桶数量过小，那内存不能装入所有数据，则会反复从磁盘读取数据，因此这里对hash桶的数量进行了评估运算，通过内存大小和数据信息去预估hash桶的数量。

发明内容

有鉴于此，本发明旨在提出一种按照hash规则切分数据使其更均匀的方法，以解决单个线程由于划分的数据量巨大使得处理时间过长的问题。

为达到上述目的，本发明的技术方案是这样实现的：

一种按照hash规则切分数据使其更均匀的方法，包括以下步骤：

S1、对待划分数据进行采样，采样过程中记录下相同的待划分数据出现的次数；

S2、对采样后的数据按照出现次数进行排序，形成topN数据信息；

S3、结合配置内存大小和数据数量进行hash桶数量评估；

S4、根据hash桶数量及topN数据信息通过哈希算法切分为数据块文件，统计每个数据块文件中数据的平均数据条数；

S5、根据设定的条件，判断每个数据块文件中数据集的平均数据条数是否符合要求，若符合要求则重复步骤S2-S4，否则完成切分。

进一步的，步骤S1中采样时按比例进行采样，采样过程具体包括以下步骤：

第一步，确定采样条数：根据数据总量，取数据总量的10％作为要采样的总条数；

第二步，计算采样点：将总数据条数按照100份进行分配，选取每一份数据条数为起始位置，作为采样的起始点；

第三步，计算每个采样点的需采样的数据条数：将计算出来的采样数据条数除以100，得到每个采样点需要采样的数据条数。

进一步的，步骤S3中进行hash桶数量评估通过以下评估公式得到：

hash桶数量＝(总数据条数*(1-数据重复率))/内存中能装下的数据条数。

进一步的，步骤S4中哈希算法切分为数据块文件的过程如下：