[发明专利]数据运算调度处理方法及装置、存储介质、处理器

说明书

本发明公开了一种数据运算调度处理方法及装置、存储介质、处理器。其中，该数据运算调度处理方法包括：发送调度请求，其中，调度请求用于对数据进行运算得到运算结果；接收到失败信息，其中，失败信息用于指示对数据进行的运算出现失败；从失败信息中获取运算的失败原因信息；根据失败原因对运算进行调整，并再次发起调度请求。本发明解决了数据运算调度无法自适应调节的技术问题。

技术领域

本发明涉及大数据运算处理领域，具体而言，涉及一种数据运算调度处理方法及装置、存储介质、处理器。

背景技术

现在开源大数据技术已经被越来越多的企业用来解决海量数据的问题.它们都有一个共同的特征,就是使用廉价的硬件组合成集群,从而提供更强大的存储或计算能力.由于这些廉价的硬件是容易出故障的,所以几乎使有的大数据系统都需要对“操作失败怎么办”或“计算失败怎么办”这类问题提供自己的方案。

大数据技术一般都自带了错误处理的机制，如Hadoop/Spark/Flink等等。这种机制一般运行在系统的调度器层面，对于计算中发生的错误,一般都是简单的重新计算，如图1所示一种数据调度调整示意图。图1中的1,2,3,4,n,2n+1等代表事件发生的次序。大数据系统的调度器先调度了第一次的“试”计算,结果计算失败了,这时调度器会再调度一次,结果第二次又失败了，如此循环,直到调度到第n+1次“试”计算成功，计算结束。或者是，“试”计算了n次都不成功,系统直接判断计算失败,不再尝试了。

通过“简单重算”，可以很好地解决硬件故障带来的计算问题,但是它也带来了新的问题：由于开源大数据系统绝大多数是运行在JVM(Java虚拟机)之上的,而JVM是需要事先指定使用多少内存的,开发者在开发时，其实不知道真正要使用多少内存,如果设置得太多,会造成资源浪费,如果设置得较少,就会经历上图中的循环,最后需要人工多次调整才能得到一个合理的配置。所以，使用“简单重算”的方案，对于由JVM的内存不够而产生的失败，会浪费大量的资源和时间，数据运算调度无法自适应调节，直到最后计算失败才能通过人工的多次干预来解决，费时费力。

针对数据运算调度无法自适应调节的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据运算调度处理方法及装置、存储介质、处理器，以至少解决数据运算调度无法自适应调节的技术问题。

根据本发明实施例的一个方面，提供了一种数据运算调度处理方法，包括：发送调度请求，其中，调度请求用于对数据进行运算得到运算结果；接收到失败信息，其中，失败信息用于指示对数据进行的运算出现失败；从失败信息中获取运算的失败原因信息；根据失败原因对运算进行调整，并再次发起调度请求。

进一步地，在接收到失败信息的情况下，循环执行获取失败原因信息的步骤以及根据失败原因对运算进行调整并再次发起调度请求的步骤，直到运算成功。

进一步地，在失败原因信息包括预先分配的内存无法满足运算的需要的情况下，根据失败原因对运算进行调整包括：对运算增加内存分配。

进一步地，对运算增加内存分配包括：根据预先配置的内存分配策略对运算增加对应的内存。

进一步地，上述方法还包括：在运算成功后，保存对运算进行的调整，其中，保存的内容作为调度下一次运算的参考，下一次运算为与运算相似度超过阈值的运算。

进一步地，上述方法还包括：在进行的运算出现失败的次数超过阈值的情况下，进行告警，并保留失败原因信息。

根据本发明实施例的另一方面，还提供了一种数据运算调度处理装置，包括：发送单元，用于发送调度请求，其中，调度请求用于对数据进行运算得到运算结果；接收单元，用于接收到失败信息，其中，失败信息用于指示对数据进行的运算出现失败；获取单元，用于从失败信息中获取运算的失败原因信息；处理单元，用于根据失败原因对运算进行调整，并再次发起调度请求。