[发明专利]哈希分区优化方法和装置

权利要求书

1.一种哈希分区优化方法，其特征在于，包括：

获取数据集，其中，所述数据集包括一个或多个数据；

采用数据倾斜优化算法对所述数据集进行第一次哈希分区，得到第一哈希分区结果；

对所述第一哈希分区结果进行第二次哈希分区，得到第二哈希分区结果。

2.根据权利要求1所述的方法，其特征在于，所述数据集以键值对的形式进行存储，所述键值对中至少包括所述键值对对应的编号。

3.根据权利要求2所述的方法，其特征在于，采用数据倾斜优化算法对所述数据集进行第一次哈希分区，得到第一哈希分区结果，包括：

使用映射线程对所述数据集进行第一次哈希分区，得到第一中间哈希分区结果，其中，所述映射线程用于对所述键值对对应的编号进行哈希计算，得到哈希计算结果，并将所述哈希计算结果相同的所述键值对分配到同一个分区，所述映射线程为一个或多个；

采用数据倾斜优化算法对所述第一中间哈希分区结果进行优化，得到所述第一哈希分区结果。

4.根据权利要求3所述的方法，其特征在于，采用数据倾斜优化算法对所述第一中间哈希分区结果进行优化，得到所述第一哈希分区结果，包括：

计算所述第一中间哈希分区结果的平均分区大小；

将所述第一中间哈希分区结果中分区大小大于所述平均分区大小的分区结果按照所述平均分区大小进行拆分。

5.根据权利要求3或4所述的方法，其特征在于，所述映射线程为多个且每个所述映射线程都有一个独立存储空间，所述独立存储空间用于写入所述键值对，使用映射线程对所述数据集进行第一次哈希分区包括：

监管每个所述独立存储空间的使用度，当所述使用度超过预设阈值时，为所述使用超过预设阈值的所述独立存储空间分配存储空间。

6.一种哈希分区优化装置，其特征在于，包括：

获取模块，用于获取数据集，其中，所述数据集包括一个或多个数据；

第一分区模块，用于采用数据倾斜优化算法对所述数据集进行第一次哈希分区，得到第一哈希分区结果；

第二分区模块，用于对所述第一哈希分区结果进行第二次哈希分区，得到第二哈希分区结果。

7.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至5中任意一项所述的哈希分区优化方法。

8.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至5中任意一项所述的哈希分区优化方法。

9.一种终端，其特征在于，包括：

获取模块，用于获取数据集，其中，所述数据集包括一个或多个数据；

第一分区模块，用于采用数据倾斜优化算法对所述数据集进行第一次哈希分区，得到第一哈希分区结果；

第二分区模块，用于对所述第一哈希分区结果进行第二次哈希分区，得到第二哈希分区结果；

处理器，所述处理器运行程序，其中，所述程序运行时对于从所述获取模块、所述第一分区模块和所述第二分区模块输出的数据执行权利要求1至5中任意一项所述的哈希分区优化方法。

10.一种终端，其特征在于，包括：

获取模块，用于获取数据集，其中，所述数据集包括一个或多个数据；

第一分区模块，用于采用数据倾斜优化算法对所述数据集进行第一次哈希分区，得到第一哈希分区结果；

第二分区模块，用于对所述第一哈希分区结果进行第二次哈希分区，得到第二哈希分区结果；

存储介质，用于存储程序，其中，所述程序在运行时对于从所述获取模块、所述第一分区模块和所述第二分区模块输出的数据执行权利要求1至5中任意一项所述的哈希分区优化方法。