[发明专利]一种解决数据倾斜的方法及装置

摘要

本发明提供一种解决数据倾斜的方法及装置，通过引入倾斜分析统计工具及表流式倾斜处理工具，避免了数据倾斜导致的任务失败和超时，使得海量倾斜数据的关联任务能快速完成，从而保障了数据仓库的高性能和稳定性。本发明的一种解决数据倾斜的方法包括：由数据倾斜统计模块使用调度程序分别统计出参与关联的第一关联表和第二关联表在关联字段上的第一统计信息和第二统计信息；由表流式倾斜处理模块根据待关联的倾斜字段，在map端对第一关联表和第二关联表的数据进行处理，以分别产生关联伪列字段；由倾斜数据关联模块在reduce端根据关联伪列字段对第一关联表和第二关联表进行关联。

主权项

1.一种解决数据倾斜的方法，其特征在于，包括：由数据倾斜统计模块使用调度程序分别统计出参与关联的第一关联表和第二关联表在关联字段上的第一统计信息和第二统计信息以得到需要处理的数据倾斜值；由表流式倾斜处理模块根据待关联的倾斜字段，在map端对所述第一关联表和所述第二关联表的数据进行处理，以将所述数据倾斜值均匀分成多份，并分别产生关联伪列字段，所述关联伪列字段通过对所述关联字段进行编号生成；由倾斜数据关联模块在reduce端根据所述关联伪列字段对所述第一关联表和所述第二关联表进行关联。