[发明专利]一种执行SQL任务的方法、设备以及存储介质

权利要求书

1.一种执行SQL任务的方法，包括步骤：

设置执行所述SQL任务的内存上限参数；

在配置文件中分别获取单个Map和单个Reduce的内存开销；

根据所述内存开销以及所述内存上限参数，分别计算理论Map数量和理论Reduce数量，以使所述理论Map数量乘以所述单个Map的内存开销不大于所述内存上限参数或使所述理论Reduce数量乘以所述单个Reduce的内存开销不大于所述内存上限参数；

根据所述理论Map数量和所述理论Reduce数量设置Map任务和Reduce任务的实际参数；

依据所述实际参数计算所述Map任务和所述Reduce任务；

其中，设置Map任务的实际参数，进一步包括：

获取输入文件总大小；

根据所述输入文件总大小以及所述理论Map数量计算切块大小；

根据所述切块大小设置所述Map任务的实际参数；

设置Reduce任务的实际参数，进一步包括：

根据所述理论Reduce数量设置第一参数。

2.如权利要求1所述的方法，其特征在于，获取输入文件总大小，进一步包括：

对输入的文件进行合并；

计算合并后的文件的总大小。

3.如权利要求1所述的方法，其特征在于，还包括：

判断是否存在下一阶段的Map任务和Reduce任务；

响应于不存在下一阶段的Map任务和Reduce任务，输出计算结果。

4.如权利要求3所述的方法，其特征在于，还包括：

响应于存在下一阶段的Map任务和Reduce任务，根据所述理论Map数量和所述理论Reduce数量重新设置Map任务和Reduce任务的实际参数；

依据重新设置的所述实际参数计算所述下一阶段的Map任务和Reduce任务。

5.如权利要求4所述的方法，其特征在于，重新设置Map任务和Reduce任务的实际参数进一步包括：

获取上一阶段Map任务和Reduce任务得到的计算结果的大小；

根据所述计算结果的大小及所述理论Map数量计算下一阶段的切块大小；

根据所述下一阶段的切块大小设置所述下一阶段的Map任务的实际参数。

6.如权利要求5所述的方法，其特征在于，进一步包括：

根据所述理论Reduce数量设置第一参数。

7.一种计算机设备，包括：

至少一个处理器；以及

存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行权利要求1-6任意一项所述的方法。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行权利要求1-6任意一项所述的方法。