[发明专利]一种解决数据倾斜的方法及装置

权利要求书

1.一种解决数据倾斜的方法，其特征在于，包括：

由数据倾斜统计模块使用调度程序分别统计出参与关联的第一关联表和第二关联表在关联字段上的第一统计信息和第二统计信息以得到需要处理的数据倾斜值；

由表流式倾斜处理模块根据待关联的倾斜字段，在map端对所述第一关联表和所述第二关联表的数据进行处理，以将所述数据倾斜值均匀分成多份，并分别产生关联伪列字段，所述关联伪列字段通过对所述关联字段进行编号生成；

由倾斜数据关联模块在reduce端根据所述关联伪列字段对所述第一关联表和所述第二关联表进行关联。

2.根据权利要求1所述的方法，其特征在于，在所述关联字段上，所述第一关联表的数据量远远小于所述第二关联表的数据量。

3.根据权利要求1所述的方法，其特征在于，所述统计的步骤进一步包括：

分别统计所述第一关联表和所述第二关联表在所述关联字段上的第一数据出现频度和第二数据出现频度；

根据筛选阈值，建立所述第一统计信息和第二统计信息，所述第一统计信息包括第一倾斜数据列值和所述第一数据出现频度，并且所述第二统计信息包括第二倾斜数据列值和所述第二数据出现频度；以及

将所述第一统计信息和第二统计信息缓存在相应文件中。

4.根据权利要求1所述的方法，其特征在于，在map端对所述第一关联表和所述第二关联表的数据进行处理进一步包括：

根据所述第一统计信息，由所述表流式倾斜处理模块在map端处理所述第一关联表的每一行数据；

针对所述第一关联表在所述关联字段上的倾斜值，根据所述第一统计信息，由所述表流式倾斜处理模块计算出用于所述倾斜值的样本空间的个数上限值；以及

基于所述上限值，由所述表流式倾斜处理模块对每一行数据进行复制并生成所述关联伪列字段，其中，所述复制份数与所述上限值相关。

5.根据权利要求4所述的方法，其特征在于，在map端对所述第一关联表和所述第二关联表的数据进行处理进一步包括：

根据所述第二统计信息，由所述表流式倾斜处理模块在map端处理所述第二关联表的每一行数据；

根据所述第二统计信息，由所述表流式倾斜处理模块将所述第二关联表在所述关联字段上的倾斜值进行平均分组并编号以生成所述关联伪列字段，其中，所述分组个数与所述上限值相关。

6.根据权利要求4所述的方法，其特征在于，由倾斜数据关联模块在reduce端根据所述关联伪列字段对所述第一关联表和所述第二关联表进行关联进一步包括：

生成相应的reduce字段，其中，所述reduce字段的样本个数与所述上限值相关。

7.一种解决数据倾斜的装置，其特征在于，包括：

数据倾斜统计模块，用于使用调度程序分别统计出参与关联的第一关联表和第二关联表在关联字段上的第一统计信息和第二统计信息以得到需要处理的数据倾斜值；

表流式倾斜处理模块，用于根据待关联的倾斜字段，在map端对所述第一关联表和所述第二关联表的数据进行处理，以将所述数据倾斜值均匀分成多份，并分别产生关联伪列字段，所述关联伪列字段通过对所述关联字段进行编号生成；

倾斜数据关联模块，用于在reduce端根据所述关联伪列字段对所述第一关联表和所述第二关联表进行关联。

8.根据权利要求7所述的装置，其特征在于，在所述关联字段上，所述第一关联表的数据量远远小于所述第二关联表的数据量。

9.根据权利要求7所述的装置，其特征在于，所述数据倾斜统计模块进一步用于：

分别统计所述第一关联表和所述第二关联表在所述关联字段上的第一数据出现频度和第二数据出现频度；

根据筛选阈值，建立所述第一统计信息和第二统计信息，所述第一统计信息包括第一倾斜数据列值和所述第一数据出现频度，并且所述第二统计信息包括第二倾斜数据列值和所述第二数据出现频度；以及

将所述第一统计信息和第二统计信息缓存在相应文件中。