[发明专利]一种任务处理系统和方法

权利要求书

1.一种任务处理系统，其特征在于，包括请求接收模块、任务拆分模块、任务处理模块、结果整合模块和结果返回模块，其中：

所述请求接收模块，用于接收用户的请求信息，所述请求信息包含对数据源中的目标数据集进行查询的查询任务；

所述任务拆分模块，用于基于预先设定的第一任务拆分策略对所述查询任务进行拆分，得到所述查询任务的N个子任务，其中，所述N为大于1的自然数；

所述任务处理模块，用于基于数据源共享机制，对所述N个子任务进行并行处理，得到相应的N个查询子结果；

所述结果整合模块，用于利用预先设定的汇总规则对所述N个查询子结果进行汇总、整合，得到用户所需的查询结果集；

所述结果返回模块，用于将所述查询结果集返回至用户。

2.根据权利要求1所述的任务处理系统，其特征在于，所述数据源具体为实时数据库。

3.根据权利要求1所述的任务处理系统，其特征在于，所述任务处理模块具体包括任务分配单元和并行处理单元，其中：

所述任务分配单元，用于将所述N个子任务以一对一的映射关系分配至N个数据库服务器；

所述并行处理单元，用于调度所述N个数据库服务器并行接入、访问所述数据源，得到与所述N个子任务相对应的N个查询子结果。

4.根据权利要求3所述的任务处理系统，其特征在于，所述任务处理模块还包括：

子任务拆分单元，用于基于预先设定的第二任务拆分策略对每个所述子任务进行二次拆分，得到所述子任务的M个二次子任务，并触发所述并行处理单元执行如下操作：调度所述N个数据库服务器并行访问所述数据源，且使每个数据库服务器以多线程并发处理方式处理其所负责的M个二次子任务，其中，所述M为大于1的自然数。

5.根据权利要求3-4任意一项所述的任务处理系统，其特征在于，还包括：

故障处理模块，用于在所述数据库服务器发生故障时，将发生故障的数据库服务器负责的子任务转交至未发生故障的数据库服务器进行处理。

6.根据权利要求4所述的任务处理系统，其特征在于，所述第一任务拆分策略具体基于所述查询任务的任务量、查询任务对应目标数据的时间属性以及数据库服务器集群当前的并行处理能力制定；所述第二任务拆分策略具体基于相应子任务的任务量、子任务对应目标数据的时间属性以及相应数据库服务器当前的多线程并发处理能力制定。

7.一种任务处理方法，其特征在于，包括：

接收用户的请求信息，所述请求信息包含对数据源中的目标数据集进行查询的查询任务；

基于预先设定的第一任务拆分策略对所述查询任务进行拆分，得到所述查询任务的N个子任务，其中，所述N为大于1的自然数；

基于数据源共享机制，对所述N个子任务进行并行处理，得到相应的N个查询子结果；

利用预先设定的汇总规则对所述N个查询子结果进行汇总、整合，得到用户所需的查询结果集；

将所述查询结果集返回至用户。

8.根据权利要求7所述的任务处理方法，其特征在于，所述基于所述数据源对所述N个子任务进行并行处理，得到相应的N个查询子结果，具体包括：

将所述N个子任务以一对一的映射关系分配至N个数据库服务器；

调度所述N个数据库服务器并行接入、访问所述数据源，得到与所述N个子任务相对应的N个查询子结果。

9.根据权利要求8所述的任务处理方法，其特征在于，所述基于所述数据源对所述N个子任务进行并行处理，得到相应的N个查询子结果，还包括：

基于预先设定的第二任务拆分策略对每个所述子任务进行二次拆分，得到所述子任务的M个二次子任务，其中，所述M为大于1的自然数；

调度所述N个数据库服务器并行访问所述数据源，并使每个数据库服务器以多线程处理方式处理其所负责的M个二次子任务。

10.根据权利要求8-9任意一项所述的任务处理方法，其特征在于，还包括：

当所述数据库服务器发生故障时，将发生故障的所述数据库服务器负责的子任务转交至未发生故障的数据库服务器进行处理。