[发明专利]分布式任务处理系统、方法和装置

说明书

本申请公开了分布式任务处理系统、方法和装置。该系统的一具体实施方式包括：任务分发端，用于从待处理任务队列中提取待处理任务，并根据所连接的至少一个任务处理端的负载情况，从该至少一个任务处理端中选择目标任务处理端发送所提取的待处理任务；任务处理端，用于接收该任务分发端发送的待处理任务，启动所接收的待处理任务的任务执行进程，并且启动对该任务执行进程进行监控的监控进程，以及将该监控进程所生成的监控信息发送给该任务分发端。该实施方式提高了任务处理效率。

技术领域

本申请涉及计算机技术领域，具体涉及互联网技术领域，尤其涉及分布式任务处理系统、方法和装置。

背景技术

现如今系统数据日益增大，业务复杂性也越来越高，因此对于系统的处理能力以及数据处理过程的监控也都提出了更高的要求。为了处理数据的高效稳定性，从最初的单点串行执行任务，到分布式多线程高并发处理。从Java内存做队列调度实现分布式到依赖中间件实现集群调度，都是要高效的对大数据处理。

依赖消息中间件构建生产者、消费者消息路由的通信模块。由于引入了消息中间件，消息中间件的可靠性、容错性、健壮性往往成为这类架构的决定性因素；同时，采用多线程执行还有可能存在线程安全问题。

发明内容

本申请的目的在于提出一种分布式任务处理系统、方法和装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请提供了一种分布式任务处理系统，上述系统包括任务分发端，用于从待处理任务队列中提取待处理任务，并根据所连接的至少一个任务处理端的负载情况，从上述至少一个任务处理端中选择目标任务处理端发送所提取的待处理任务；任务处理端，用于接收上述任务分发端发送的待处理任务，启动所接收的待处理任务的任务执行进程，并且启动对上述任务执行进程进行监控的监控进程，以及将上述监控进程所生成的监控信息发送给上述任务分发端。

在一些实施例中，上述任务分发端还用于根据上述监控信息，确定上述待处理任务是否完成，并且在确定上述待处理任务已完成的情况下，根据上述监控信息生成任务处理结果。

在一些实施例中，上述任务处理端还用于响应于上述任务执行进程的异常终止，向上述任务分发端发送上述监控进程所生成的监控信息，其中，上述监控信息包括上述任务处理端的负载情况、任务执行进程信息；上述任务分发端还用于接收上述监控信息，并保存上述任务执行进程信息；上述任务处理端还用于在接收到上述任务分发端发送的上述任务执行进程信息之后，使用接收到的上述任务执行进程信息，重新启动任务执行进程。

在一些实施例中，上述负载情况包括以下至少一项：任务处理端的内存占用率、网络速率和任务的历史处理速率。

第二方面，本申请提供了一种分布式任务处理方法，上述方法包括：从待处理任务队列中提取待处理任务；根据所连接的至少一个任务处理端的负载情况，从上述至少一个任务处理端中选择目标任务处理端发送所提取的待处理任务，以供上述目标任务处理端在接收到待处理任务后，启动所接收的待处理任务的任务执行进程，并且启动对上述任务执行进程进行监控的监控进程，以及返回上述监控进程所生成的监控信息；根据上述监控信息生成上述所提取的待处理任务的处理结果。

在一些实施例中，上述根据上述监控信息生成上述所提取的待处理任务的处理结果，包括：根据上述监控信息，确定上述待处理任务是否完成，并且在确定上述待处理任务已完成的情况下，根据上述监控信息生成任务处理结果。

在一些实施例中，接收监控信息，其中，上述监控信息是上述任务处理端响应于上述任务执行进程的异常终止，发送上述监控进程所生成的监控信息，上述监控信息包括上述任务处理端的负载情况、任务执行进程信息；响应于接收上述监控信息，保存上述任务执行进程信息；发送上述任务执行进程信息给上述任务处理端，以供上述任务处理端使用接收到的上述任务执行进程信息，重新启动任务执行进程。

在一些实施例中，上述负载情况包括以下至少一项：任务处理端的内存占用率、网络速率和任务的历史处理速率。