[发明专利]批量任务处理方法和分布式系统

说明书

本发明实施例公开了一种批量任务处理方法和分布式系统，其中，批量任务处理方法基于包括多个处理端的分布式系统，该方法包括：接收到批量任务的处理端将批量任务划分成多个任务片，并将多个任务片存储到数据库中，各处理端定时扫描数据库中是否存在待处理的任务片，若扫描到待处理的任务片，则抢占扫描到的待处理的任务片并进行处理，解决了现有的分布式系统必须依赖管理端才可以进行任务处理的问题，使得处理端无需依赖管理端即可实现对批量任务进行处理，达到了去中心化的效果。

技术领域

本发明实施例涉及计算机应用技术领域，尤其涉及一种批量任务处理方法和分布式系统。

背景技术

随着微处理技术的发展，分布式系统较单个大型集中式系统具有更高的性价比，其可以通过较低廉的价格实现与单个大型集中式系统相似的功能，因此，分布式系统成为越来越普遍使用的系统架构。

现有的分布式系统的系统架构通常包括资源管理层和任务执行层，其中资源管理层作为整个系统的中控设备，可以实现对任务、资源等进行分配以及对任务执行层进行控制等功能；任务执行层的任务处理设备可以实现具体的任务执行逻辑，并且可实现水平扩展。

但是，对于现有的分布式系统，只有当资源管理层发出指令后，任务处理设备才能够执行相应的动作，一旦资源管理层出现问题，整个系统就会处于瘫痪的状态。

发明内容

本发明提供一种批量任务处理方法和分布式系统，以达到在批量任务处理过程中，处理端无需依赖管理端即可实现对批量任务进行处理的效果。

第一方面，本发明实施例提供了一种批量任务处理方法，所述方法基于分布式系统，其中，所述分布式系统包括多个处理端；所述方法包括：

接收到批量任务的处理端将所述批量任务划分成多个任务片，并将所述多个任务片存储到数据库中；

各处理端定时扫描所述数据库中是否存在待处理的任务片，若扫描到待处理的任务片，则抢占扫描到的待处理的任务片并进行处理。

第二方面，本发明实施例还提供了一种分布式系统，该系统包括数据库和多个处理端；

所述处理端包括：

划分模块，用于将接收到的批量任务划分成多个任务片，并将所述多个任务片存储到数据库中；

扫描模块，用于定时扫描所述数据库中是否存在待处理的任务片；

抢占处理模块，用于若扫描到待处理的任务片，则抢占扫描到的待处理的任务片并进行处理；

所述数据库用于存储对接收到的批量任务进行划分得到的任务片。

本发明实施例基于包括多个处理端的分布式系统，通过接收到批量任务的处理端将批量任务划分成多个任务片，并将多个任务片存储到数据库中，各处理端定时扫描数据库中是否存在待处理的任务片，若扫描到待处理的任务片，则抢占扫描到的待处理的任务片并进行处理，解决了现有的分布式系统必须依赖管理端才可以进行任务处理的问题，使得处理端无需依赖管理端即可实现对批量任务进行处理，达到了去中心化的效果；此外，各处理端无需固定任务执行时间，可随时接收批量任务，在方便用户处理批量任务的同时增加了用户的使用体验。

附图说明

下面将通过参照附图详细描述本发明的示例性实施例，使本领域的普通技术人员更清楚本发明的上述及其他特征和优点，附图中：

图1是本发明实施例一中的批量任务处理方法的流程图；

图2是本发明实施例二中的批量任务处理方法的流程图；

图3是本发明实施例三中的批量任务处理方法的流程图；

图4是本发明实施例四中的分布式系统的结构示意图。