[发明专利]一种数据处理方法、装置、设备及计算机可读存储介质

说明书

本申请公开了一种数据处理方法、装置、设备及计算机可读存储介质，方法包括：根据各数据表的数据量确定SQL请求中请求表的数据量；根据请求表的数据量对请求表间的关联顺序进行调整，将数据量大于预设值的请求表拆分成子表，将调整关联顺序后的请求表、子表及SQL请求发送至hive，由hive进行处理，得到中间数据；确定中间数据的大小、reduce个数及各reduce平均分配的中间数据量，生成数据分配信息并发送至hive，由hive将中间数据平均分配至各reduce，以进行中间数据的写出。本申请公开的技术方案，对SQL请求进行优化处理，并对hive得到的中间数据进行平均分配，以降低资源占用，提高任务处理效率。

技术领域

本申请涉及数据仓库技术领域，更具体地说，涉及一种数据处理方法、装置、设备及计算机可读存储介质。

背景技术

数据仓库，是为给企业所有级别的决策制定过程，提供所有类型数支持的战略集合。

目前，在构建企业级数仓的过程中，是由业务人员进行SQL（Structured QueryLanguage，结构化查询语言）语句的编写，并将编写的SQL语句发送至hive进行任务转化及并对任务进行处理，以获取与SQL语句对应的结果，但是，由于部分业务人员只熟悉SQL语法，而对于hive及HDFS（Hadoop分布式文件系统）底层架构原理并不熟悉，因此，则会导致编写出来的SQL语句没有经过结合实际底层的优化和参数设置，从而使得对应任务占用资源过大，运行效率过低。

综上所述，如何提高任务运行效率，是目前本领域技术人员亟待解决的技术问题。

发明内容

有鉴于此，本申请的目的是提供一种数据处理方法、装置、设备及计算机可读存储介质，用于提高任务运行效率。

为了实现上述目的，本申请提供如下技术方案：

一种数据处理方法，包括：

接收SQL请求，根据预先获取的hive中各数据表的数据量确定所述SQL请求中的请求表的数据量；

根据所述请求表的数据量对所述请求表间的关联顺序进行调整，并将数据量大于预设值的请求表拆分成子表，将调整关联顺序后的请求表、所述子表及所述SQL请求发送至所述hive，由所述hive根据所述SQL请求对调整关联顺序后的请求表及所述子表进行处理，得到中间数据；

确定所述中间数据的大小、所述hive中reduce个数及每个所述reduce平均分配的中间数据量，根据所述中间数据量生成数据分配信息并发送至所述hive，由所述hive根据所述数据分配信息将所述中间数据平均分配至各所述reduce，以利用所述reduce进行中间数据的写出。

优选的，预先获取hive中各数据表的数据量，包括：

根据每个所述数据表中各文件块的存储位置，获取各所述文件块的数据量，并根据每个所述数据表中各所述文件块的数据量得到各所述数据表的数据量；

其中，若所述数据表中数据量小于第一阈值的文件块的个数大于第二阈值，则将所述数据表中数据量小于所述第一阈值的文件块进行合并，且合并后的文件块的数据量不大于第三阈值，所述第三阈值大于所述第一阈值。

优选的，在由所述hive根据所述SQL请求对调整关联顺序后的请求表及所述子表进行处理时，还包括：

获取与所述SQL请求对应的任务在各服务器上的运行信息，并对所述运行信息进行显示；其中，所述运行信息包括任务运行进度、服务器资源消耗。

优选的，获取与所述SQL请求对应的任务在各服务器上的运行信息，包括：

获取与所述任务对应的请求JVM进程及所述请求JVM进程对应的运行信息；

调用Yarn的查询API，通过所述查询API获取所述任务的运行信息；