[发明专利]一种数据处理方法、装置、设备及计算机可读存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

接收SQL请求，根据预先获取的hive中各数据表的数据量确定所述SQL请求中的请求表的数据量；

根据所述请求表的数据量对所述请求表间的关联顺序进行调整，并将数据量大于预设值的请求表拆分成子表，将调整关联顺序后的请求表、所述子表及所述SQL请求发送至所述hive，由所述hive根据所述SQL请求对调整关联顺序后的请求表及所述子表进行处理，得到中间数据；

确定所述中间数据的大小、所述hive中reduce个数及每个所述reduce平均分配的中间数据量，根据所述中间数据量生成数据分配信息并发送至所述hive，由所述hive根据所述数据分配信息将所述中间数据平均分配至各所述reduce，以利用所述reduce进行中间数据的写出。

2.根据权利要求1所述的数据处理方法，其特征在于，预先获取hive中各数据表的数据量，包括：

根据每个所述数据表中各文件块的存储位置，获取各所述文件块的数据量，并根据每个所述数据表中各所述文件块的数据量得到各所述数据表的数据量；

其中，若所述数据表中数据量小于第一阈值的文件块的个数大于第二阈值，则将所述数据表中数据量小于所述第一阈值的文件块进行合并，且合并后的文件块的数据量不大于第三阈值，所述第三阈值大于所述第一阈值。

3.根据权利要求1所述的数据处理方法，其特征在于，在由所述hive根据所述SQL请求对调整关联顺序后的请求表及所述子表进行处理时，还包括：

获取与所述SQL请求对应的任务在各服务器上的运行信息，并对所述运行信息进行显示；其中，所述运行信息包括任务运行进度、服务器资源消耗。

4.根据权利要求3所述的数据处理方法，其特征在于，获取与所述SQL请求对应的任务在各服务器上的运行信息，包括：

获取与所述任务对应的请求JVM进程及所述请求JVM进程对应的运行信息；

调用Yarn的查询API，通过所述查询API获取所述任务的运行信息；

将通过获取所述请求JVM进程得到的运行信息、通过所述查询API获取的运行信息进行比较，以得到所述任务对应的运行信息。

5.根据权利要求3所述的数据处理方法，其特征在于，在获取与所述SQL请求对应的任务在各服务器上的运行信息之后，还包括：

将所述运行信息存储在Redis数据库中。

6.根据权利要求1所述的数据处理方法，其特征在于，在利用所述reduce进行中间数据的写出之后，还包括：

获取与所述SQL请求对应的任务的运行日志，并对所述运行日志进行显示。

7.根据权利要求6所述的数据处理方法，其特征在于，还包括：

若确定所述任务运行失败，则从所述运行日志中提取运行失败信息，并对所述运行失败信息进行显示。

8.一种数据处理装置，其特征在于，包括：

接收模块，用于接收SQL请求，根据预先获取的hive中各数据表的数据量确定所述SQL请求中的请求表的数据量；

处理模块，用于根据所述请求表的数据量对所述请求表间的关联顺序进行调整，并将数据量大于预设值的请求表拆分成子表，将调整关联顺序后的请求表、所述子表及所述SQL请求发送至所述hive，由所述hive根据所述SQL请求对调整关联顺序后的请求表及所述子表进行处理，得到中间数据；

分配模块，用于确定所述中间数据的大小、所述hive中reduce个数及每个所述reduce平均分配的中间数据量，根据所述中间数据量生成数据分配信息并发送至所述hive，由所述hive根据所述数据分配信息将所述中间数据平均分配至各所述reduce，以利用所述reduce进行中间数据的写出。

9.一种数据处理设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的数据处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据处理方法的步骤。