[发明专利]批量任务处理方法和分布式系统

权利要求书

1.一种批量任务处理方法，其特征在于，所述方法基于分布式系统，其中，所述分布式系统包括多个处理端；所述方法包括：

接收到批量任务的处理端将所述批量任务划分成多个任务片，并将所述多个任务片存储到数据库中；

各处理端定时扫描所述数据库中是否存在待处理的任务片，若扫描到待处理的任务片，则抢占扫描到的待处理的任务片并进行处理。

2.根据权利要求1所述的方法，其特征在于，在接收到批量任务的处理端将所述批量任务划分成多个任务片之后，包括：

接收到批量任务的处理端将所述多个任务片中每个任务片的处理状态均标记为待处理。

3.根据权利要求1所述的方法，其特征在于，所述各处理端定时扫描所述数据库中是否存在待处理的任务片，包括：

所述各处理端定时扫描所述数据库中的任务片，并根据所述任务片的处理状态确定所述数据库中是否存在待处理的任务片。

4.根据权利要求1所述的方法，其特征在于，若扫描到待处理的任务片，则抢占扫描到的待处理的任务片并进行处理，包括：

所述处理端将抢占到的任务片的处理状态标记为处理中；

所述处理端将抢占到的任务片放入所述处理端的任务处理队列中，并依次处理所述任务处理队列中的任务片。

5.根据权利要求4所述的方法，其特征在于，在所述处理端将抢占到的任务片放入所述处理端的任务处理队列中，并依次处理所述任务处理队列中的任务片之后，还包括：

所述处理端在处理完一个任务片后，将所述任务片的处理状态标记为处理完成；

所述处理端将处理结果发送至所述数据库。

6.根据权利要求1-5任一项所述的方法，其特征在于，在接收到批量任务的处理端将所述批量任务划分成多个任务片之后，还包括：

所述各处理端定时扫描所述数据库中与所述批量任务相对应的各任务片的处理状态是否为处理完成；

若扫描到所述各任务片的处理状态均为处理完成，则抢占所述各任务片的处理结果，并将所述各任务片的处理结果进行合并并输出。

7.根据权利要求4所述的方法，其特征在于，在所述处理端将抢占到的任务片放入所述处理端的任务处理队列中之后，还包括：

若所述处理端检测到所述任务处理队列中的任务片数目达到预设阈值，则停止扫描。

8.根据权利要求4所述的方法，其特征在于，依次处理所述任务处理队列中的任务片，包括：

按照预设流速依次将所述任务处理队列中的任务片提交至线程进行处理。

9.一种分布式系统，其特征在于，包括数据库和多个处理端；

所述处理端包括：

划分模块，用于将接收到的批量任务划分成多个任务片，并将所述多个任务片存储到数据库中；

扫描模块，用于定时扫描所述数据库中是否存在待处理的任务片；

抢占处理模块，用于若扫描到待处理的任务片，则抢占扫描到的待处理的任务片并进行处理；

所述数据库用于存储对接收到的批量任务进行划分得到的任务片。

10.根据权利要求9所述的系统，其特征在于，所述划分模块包括：

第一标记单元，用于在将所述批量任务划分成多个任务片之后，将所述多个任务片中每个任务片的处理状态均标记为待处理。

11.根据权利要求9所述的系统，其特征在于，所述扫描模块具体用于：

定时扫描所述数据库中的任务片，并根据所述任务片的处理状态确定所述数据库中是否存在待处理的任务片。

12.根据权利要求9所述的系统，其特征在于，所述抢占处理模块包括：

第二标记单元，用于将抢占到的任务片的处理状态标记为处理中；

抢占处理单元，用于将抢占到的任务片放入所述处理端的任务处理队列中，并依次处理所述任务处理队列中的任务片。