[发明专利]海量任务异步处理方法、装置、计算机设备及存储介质

说明书

本发明实施例公开了海量任务异步处理方法、装置、计算机设备及存储介质。所述方法包括：获取用户终端上传的海量任务，以得到待处理任务；根据所述待处理任务获取编排内容，并依据所述编排内容进行任务编排，以得到编排后的任务；获取消费配置；根据所述消费配置以及编排后的任务进行处理，以得到处理结果；反馈所述处理结果至用户终端。通过实施本发明实施例的方法可实现进行统一的任务编排，可动态实时扩容大量的消费节点即服务器，支持海量的任务消费和处理。

技术领域

本发明涉及计算机，更具体地说是指海量任务异步处理方法、装置、计算机设备及存储介质。

背景技术

任务处理的方式按照服务器的个数可以分为单机处理方式以及分布式处理方式，其中，单机处理方式的逻辑简单，对任务的状态，幂等性等方面维护简便，但是单机处理可处理的容量有限，尤其针对海量任务的情况下，用户等待时间以及性能方便有比较大的瓶颈，并且单机的高可用性做不到，单点挂了整个任务体系就奔溃了。分布式任务处理方式可以提高整个任务体系的高可用性，单点服务器挂了不会对整个任务体系造成的影响，并且能接受海量任务的并发处理，减少用户的等待时间，在复杂的业务场景下，用户对任务的优先级、异常处理策略、构建策略等各方面做一个自定义编排，但是目前现有分布式任务处理框架对任务编排，任务监控告警以及对接的权限等方面没有做到很好的统一，对配置中心化的依赖比较严重，并且消费节点的水平扩容有限，导致当消费节点很多时分布式服务器带来的锁消耗比较大。

因此，有必要设计一种新的方法，实现进行统一的任务编排，可动态实时扩容大量的消费节点，支持海量的任务消费。

发明内容

本发明的目的在于克服现有技术的缺陷，提供海量任务异步处理方法、装置、计算机设备及存储介质。

为实现上述目的，本发明采用以下技术方案：海量任务异步处理方法，包括：

获取用户终端上传的海量任务，以得到待处理任务；

根据所述待处理任务获取编排内容，并依据所述编排内容进行任务编排，以得到编排后的任务；

获取消费配置；

根据所述消费配置以及编排后的任务进行处理，以得到处理结果；

反馈所述处理结果至用户终端。

其进一步技术方案为：所述反馈所述处理结果至用户终端之后，还包括：

反馈处理状态、任务量以及任务的处理耗时至监控中心，由监控中心获取监控配置，并根据所述监控配置进行任务监控，以得到监控结果；当所述监控结果为异常时，生成报警信息，并反馈所述报警信息。

其进一步技术方案为：所述编排内容包括对不同类型的任务的优先等级。

其进一步技术方案为：所述根据所述待处理任务获取编排内容，并依据所述编排内容进行任务编排，以得到编排后的任务，包括：

获取自定义的编排内容；

根据所述编排内容对所述待处理任务按照优先等级从高到低的顺序进行编排，以得到编排后的任务。

其进一步技术方案为：所述消费配置包括处理任务的权限。

其进一步技术方案为：所述根据所述消费配置以及编排后的任务进行处理，以得到处理结果，包括：

对编排后的任务进行任务信息的维护；

按照所述消费配置对编排后的任务中具备处理权限的任务进行处理，且对处理后的任务进行状态标记，以得到处理结果。

其进一步技术方案为：所述监控配置包括监控的参数以及异常的判断条件。

本发明还提供了海量任务异步处理装置，包括：