[发明专利]一种定时任务数据处理方法、装置及系统

说明书

本说明书提供一种定时任务数据处理方法、装置及系统，接收到定时器发送的定时任务处理请求后，根据下游系统的响应时间以及影响系统吞吐量或并发量计算的系统参考因子，根据预设规则实时计算所需的并发量，计算出的并发量卡可以确保系统在进行定时任务处理时保持较高的吞吐量。本说明书实施例提高了系统的吞吐量，确保了定时任务处理系统数据处理的稳定性，提高了定时任务数据处理到的效率。

技术领域

本说明书属于互联网通信技术领域，尤其涉及一种定时任务数据处理方法、装置及系统。

背景技术

在一些网络架构中，通常数据的传输处理可能需要多个系统相互协作完成，数据在各个系统传输过程中有服务的发起方可以称为上游系统，服务方提供的系统可以称为下游系统。

在数据处理过程中，有一种服务可以称为定时任务，即定时器触发的接口调用请求。服务提供方在接收到上游系统请求时，对于失效性要求不高的请求，可以先落任务，返回受理成功，后通过定时器触发执行，将最终的处理结果返回。定时器触发任务执行时，为了提供吞吐量，一般会并发多线程的执行任务，如果任务需要依赖下游系统，那么并发数设置成多少，将直接影响着系统吞吐量。现有技术中，定时任务在执行时，并发量通常是固定的，无法保证系统的吞吐量，影响网络系统的数据传输处理效率。

发明内容

本说明书目的在于提供一种定时任务数据处理方法及装置，提高了定时任务处理时系统的吞吐量，确保了定时任务处理系统数据处理的稳定性，提高了定时任务数据处理到的效率。

一方面本说明书实施例提供了一种定时任务数据处理方法，包括：

接收定时任务处理请求，获取待处理任务信息；

根据所述定时任务处理请求对应的吞吐量影响因子，按照预设规则计算出所述待处理任务信息对应的调整并发量，其中，所述吞吐量影响因子包括：下游系统的响应时间、系统参考因子，所述预设规则根据吞吐量影响因子、并发量、吞吐量之间的对应关系建立；

根据所述待处理任务信息和所述调整并发量，向所述下游系统发送业务请求信息。

进一步地，所述方法的另一个实施例中，所述系统参考因子包括数据处理系统的中央处理器、总内存、剩余内存、系统负载中的至少一个。

进一步地，所述方法的另一个实施例中，所述下游系统的响应时间的获取方法包括：

根据持久化的下游系统的实际响应时间，计算出所述定时任务处理请求对应的下游系统的响应时间；

所述持久化的下游系统的实际响应时间获取方法包括：

在执行所述定时任务处理请求时，接收所述下游系统发送的任务处理结果，并记录任务返回时间；

根据所述任务返回时间和发送所述业务请求信息的时间之间的差值，计算所述下游系统的实际响应时间，并将所述下游系统的实际响应时间进行持久化。

进一步地，所述方法的另一个实施例中，所述下游系统的响应时间的获取方法包括：

判断当前的定时任务与上一次定时任务之间的时间差，若所述时间差小于预设时间阈值，则将持久化的上一次定时任务对应的下游系统的实际响应时间，作为所述定时任务处理请求对应的下游系统的响应时间；

或者，将持久化的下游系统的实际响应时间的平均值，作为所述定时任务处理请求对应的下游系统的响应时间；

或者，根据持久化的下游系统的实际响应时间的变化规律，预测出所述定时任务处理请求对应的下游系统的响应时间。

进一步地，所述方法的另一个实施例中，所述预设规则采用下述方法建立：

获取历史吞吐量影响因子、所述历史吞吐量影响因子对应的并发量、所述历史吞吐量影响因子对应的吞吐量；