[发明专利]一种任务处理方法、装置、设备及存储介质

说明书

本发明提供一种任务处理方法、装置、设备及存储介质，所述方法包括：确定目标任务分片对应的目标主任务和目标任务类型，所述目标任务分片包括所述目标主任务的多个子任务；获取所述目标主任务对应的任务分片的第一子任务并发数；获取所述目标任务类型对应的任务分片的第二子任务并发数；将所述第一子任务并发数和所述第二子任务并发数分别与对应的并发阈值进行比较，根据比较结果对所述目标任务分片中的子任务进行处理。本发明的任务处理方法，能够实现多个维度的流量控制，在满足每天千万量级的子任务处理需要的同时，避免系统承压过高，提高了系统的稳定性和可靠性。

技术领域

本发明涉及数据处理技术领域，特别涉及一种任务处理方法、装置、设备及存储介质。

背景技术

近年来，随着银行业务的不断发展，后端系统规模也在不断扩大，批处理任务(也称为主任务)的数量与复杂度都在日益增加。将批处理任务调度在单台主机上处理时，由于任务数量及复杂度过高，单台主机无法提供足够的性能，导致主机负荷过大，影响任务的处理。

随着分布式架构的崛起，各个银行都在积极探索主机下移的解决方案，通过依托企业级分布式平台和采用开放技术建设核心银行系统，以通过分布式架构的批处理框架来实现原先主机的批处理功能。

由于银行业务(例如批量代收代付、客户信息拆分归并、入账等业务)中的一个批处理任务往往有多达10-20万笔子任务需要处理，因此势必需要设计一种子任务高并发处理机制以快速执行完批处理任务。现有技术中的批处理框架提供了一种子任务分片处理机制，可以将批处理任务进行分片，并提供分片分发、分片认领、分片执行等功能，以达到降低复杂度，缩短任务执行时间的目的，满足高效执行批处理任务的要求。但是，现有技术中缺少对任务执行的流量控制机制，在大批量任务的情况下会导致下游交易系统无法承受。

发明内容

针对现有技术的上述问题，本发明的目的在于提供一种任务处理方法、装置、设备及存储介质，能够实现多个维度的流量控制，提高系统的稳定性和可靠性。

为了解决上述问题，本发明提供一种任务处理方法，包括：

确定目标任务分片对应的目标主任务和目标任务类型，所述目标任务分片包括所述目标主任务的多个子任务；

获取所述目标主任务对应的任务分片的第一子任务并发数；

获取所述目标任务类型对应的任务分片的第二子任务并发数；

将所述第一子任务并发数和所述第二子任务并发数分别与对应的并发阈值进行比较，根据比较结果对所述目标任务分片中的子任务进行处理。

进一步地，所述获取所述目标主任务对应的任务分片的第一子任务并发数包括：

获取所述目标主任务对应的第一任务分片集合；

确定所述第一任务分片集合中各个任务分片的子任务并发数之和，得到所述第一子任务并发数。

进一步地，所述获取所述目标任务类型对应的任务分片的第二子任务并发数包括：

获取所述目标任务类型对应的第二任务分片集合；

确定所述第二任务分片集合中各个任务分片的子任务并发数之和，得到所述第二子任务并发数。

进一步地，所述将所述第一子任务并发数和所述第二子任务并发数分别与对应的并发阈值进行比较，根据比较结果对所述目标任务分片中的子任务进行处理包括：

确定针对所述目标主任务的第一并发阈值和针对所述目标任务类型的第二并发阈值；

将所述第一子任务并发数与所述第一并发阈值进行比较，得到第一比较结果；

将所述第二子任务并发数与所述第二并发阈值进行比较，得到第二比较结果；