[发明专利]一种批处理任务的运行时长预测方法和相关装置

说明书

本申请公开了一种批处理任务的运行时长预测方法和相关装置，将批处理任务中的一个批量节点作为目标批量节点，获取目标批量节点所执行的作业集合，将作业集合中的一个作业作为目标作业，根据目标作业的日间联机交易量、I/O吞吐量、CPU资源和CF资源获取目标作业的运行时长，根据目标作业的运行时长获取目标批量节点的运行时长，根据目标批量节点的运行时长获取批处理任务的运行时长。由此，通过影响作业运行时长的因素：日间联机交易量、I/O吞吐量、CPU资源和CF资源能够较为准确的预测作业的运行时长，从而得到批量节点的运行时长以及批处理任务的运行时长，实现批处理任务的运行监控，进而能够提前通过增加资源、暂停某些作业执行等方式避免资源冲突。

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种批处理任务的运行时长预测方法和相关装置。

背景技术

大型主机系统运维过程中，核心系统会在业务量较小的时候，如凌晨两点至四点的时间段，通过定时执行、分批执行等方式进行批处理。一个批处理任务由多个批量节点组成，一个批量节点就是一套完整的作业流，作业流中包括多个作业，多个作业间可能串行执行，也可能并行执行。故此，不同批量节点、甚至批处理任务的运行时长可能不同。

若当前批量节点的运行时间过长，可能影响下一个批量节点的运行，可能影响需避开批量执行时段实施的变更，甚至由于批处理任务的运行时长过长影响后续联机交易平稳运行。故预测批处理任务的运行时长对于大型主机运维很重要，可以通过如增加资源、更改变更实施时间，从而避免出现资源冲突等问题。

相关技术中，通过人为经验的方式预测批处理任务的运行时长，但是该种方式过于依赖人为经验，预测准确性不高，经验不同可能导致预测结果不一致，且人力消耗成本高。

发明内容

针对上述问题，本申请提供一种批处理任务的运行时长预测方法和相关装置，用于提高批处理任务的运行时长预测的准确性。

基于此，本申请实施例公开了如下技术方案：

一方面，本申请实施例提供一种批处理任务的运行时长预测方法，所述方法包括：

获取目标批量节点所执行的作业集合，所述目标批量节点为批处理任务中的一个批量节点；

根据目标作业的日间联机交易量、输入/输出I/O吞吐量、中央处理器CPU资源和耦合设备CF资源预测所述目标作业的运行时长，所述目标作业为所述作业集合中的一个作业；

根据所述目标作业的运行时长确定所述目标批量节点的运行时长；

根据所述目标批量节点的运行时长确定所述批处理任务的运行时长。

可选的，所述根据目标作业的日间联机交易量、I/O吞吐量、CPU资源和CF资源预测所述目标作业的运行时长，包括：

根据目标作业的类型获取所述目标作业对应的目标影响因子模型，不同类型的作业对应不同的影响因子模型，所述影响因子模型中的影响因子包括日间联机交易量系数、I/O吞吐量系数、CPU资源系数和CF资源系数；

根据所述目标作业的日间联机交易量、I/O吞吐量、CPU资源、CF资源、以及所述目标影响因子模型预测所述目标作业的运行时长。

可选的，所述根据目标作业的日间联机交易量、I/O吞吐量和CPU资源和CF资源预测所述目标作业的运行时长，包括：

根据目标作业的日间联机交易量、I/O吞吐量、CPU资源、CF资源，以及内存使用率预测所述目标作业的运行时长。

可选的，所述根据目标作业的日间联机交易量、I/O吞吐量、CPU资源、CF资源，以及内存使用率预测所述目标作业的运行时长，包括：