[发明专利]大数据处理方法、装置、电子设备及存储介质

说明书

本发明涉及数据处理技术领域，尤其涉及一种大数据处理方法、装置、电子设备及存储介质。本发明的大数据处理方法，当参与大数据处理任务的数据表中主键的数据量超过第一预设阈值时，将主键的数据划分为多组；根据大数据处理任务建立至少一个执行计划树，确定每个执行计划树的代价，将代价最低的执行计划树作为最优执行计划树；根据最优执行计划树以及历史任务的第二统计信息确定大数据处理任务的并发量和计算资源；通过上述方式，充分利用统计信息，将数据分布优化、代价优化以及基于历史优化相结合进行大数据处理，在消除数据倾斜后进行代价优化，将代价优化所得最优执行计划树按照历史任务的统计信息进行计算资源分配，最大限度节约计算资源。

【技术领域】

本发明涉及数据处理技术领域，尤其涉及一种大数据处理方法、装置、电子设备及存储介质。

【背景技术】

目前大数据处理任务，如MapReduce、Hive、Spark等任务存在的主要问题如下：数据倾斜(长尾效应)、OOM(out of memory，内存耗尽)、shuffle(置乱)问题、空任务小文件过多等，上述问题大多是开发者自己通过查看任务运行日志，然后依靠自己的经验优化代码和资源申请配置来解决的，缺乏一个自动优化机制和优化模型，帮助开发者积累最佳的优化经验。并且，Hadoop这种大数据处理系统由于需要更强的扩展能力以及非结构化数据支持，没有对诸如数据分布等方面的问题做出很多优化。

因此，有必要提供一种新的大数据处理方法。

【发明内容】

本发明的目的在于提供一种大数据处理方法、装置、电子设备及存储介质，以解决现有技术中无法进行计算资源分配优化的技术问题。

本发明的技术方案如下：提供一种大数据处理方法，包括：

获取参与大数据处理任务的数据表的第一统计信息，根据所述第一统计信息分析所述数据表中每个主键的数据量，当所述数据量超过第一预设阈值时，将所述主键的数据划分为多组；

根据所述大数据处理任务建立至少一个执行计划树，确定每个所述执行计划树的代价，将代价最低的所述执行计划树作为最优执行计划树；

根据所述最优执行计划树以及历史任务的第二统计信息确定所述大数据处理任务的并发量和计算资源。

优选地，所述获取参与大数据处理任务的数据表的第一统计信息，根据所述第一统计信息分析所述数据表中每个主键的数据量，当所述数据量超过第一预设阈值时，将所述主键的数据划分为多组，包括：

获取参与大数据处理任务的数据表的第一统计信息，根据所述第一统计信息分析所述数据表中每个主键的数据量；

当所述数据量超过第一预设阈值时，根据所述数据量确定所述主键的分组数量N，其中，N为自然数；

将所述主键加上1到分组数量N之间的数字分别得到N个分组主键，根据所述分组主键创建所述主键的分组主键表；

将所述主键的数据平均分为N组，将N组数据分别与所述分组主键表中N个分组主键进行关联。

优选地，所述将所述主键的数据平均分为N组，将N组数据分别与所述分组主键表中N个分组主键进行关联之后，还包括：

当所述大数据处理任务执行完毕后，去除所述分组主键后的数字，得到原始的主键；

将各所述分组主键的数据进行合并，将合并后的数据与原始的主键进行重新关联。

优选地，所述根据所述大数据处理任务建立至少一个执行计划树，确定每个所述执行计划树的代价，包括：

获取参与所述大数据处理任务的数据表以及所述数据表的元数据信息，其中，所述元数据信息包括表结构、表文件存放位置、文件个数以及文件容量；