[发明专利]一种任务处理系统和方法

说明书

技术领域

本发明属于数据库接入、访问技术领域，尤其涉及一种任务处理系统和方法。

背景技术

历史数据的查询性能是实时数据库的重要性能指标。

目前，针对用户请求的数据查询任务，实时数据库不提供任务拆分功能或仅提供简单的基于任务量的平均拆分功能，且采用非共享机制管理其历史数据，基于此，对于用户请求的数据查询任务，实时数据库只能由固定的服务程序接入、并访问其历史数据实现对相应任务进行处理，或由多个服务程序以轮询方式接入、访问其历史数据实现对通过简单拆分所得的相应子任务进行处理。此种处理方式大大影响了任务请求的响应速率，会导致大数据集查询任务(例如千万级以上测点数量或长时间段的历史数据查询任务)的响应延迟较高，进而降低了实时数据库的查询性能。

发明内容

有鉴于此，本发明的目的在于提供一种任务处理系统和方法，以克服上述问题，提高实时数据库的查询性能。

为此，本发明公开如下技术方案：

一种任务处理系统，包括请求接收模块、任务拆分模块、任务处理模块、结果整合模块和结果返回模块，其中：

所述请求接收模块，用于接收用户的请求信息，所述请求信息包含对数据源中的目标数据集进行查询的查询任务；

所述任务拆分模块，用于基于预先设定的第一任务拆分策略对所述查询任务进行拆分，得到所述查询任务的N个子任务，其中，所述N为大于1的自然数；

所述任务处理模块，用于基于数据源共享机制，对所述N个子任务进行并行处理，得到相应的N个查询子结果；

所述结果整合模块，用于利用预先设定的汇总规则对所述N个查询子结果进行汇总、整合，得到用户所需的查询结果集；

所述结果返回模块，用于将所述查询结果集返回至用户。

上述系统，优选的，所述数据源具体为实时数据库。

上述系统，优选的，所述任务处理模块具体包括任务分配单元和并行处理单元，其中：

所述任务分配单元，用于将所述N个子任务以一对一的映射关系分配至N个数据库服务器；

所述并行处理单元，用于调度所述N个数据库服务器并行接入、访问所述数据源，得到与所述N个子任务相对应的N个查询子结果。

上述系统，优选的，还包括：

子任务拆分单元，用于基于预先设定的第二任务拆分策略对每个所述子任务进行二次拆分，得到所述子任务的M个二次子任务，并触发所述并行处理单元执行如下操作：调度所述N个数据库服务器并行访问所述数据源，且使每个数据库服务器以多线程并发处理方式处理其所负责的M个二次子任务，其中，所述M为大于1的自然数。

上述系统，优选的，还包括：

故障处理模块，用于在所述数据库服务器发生故障时，将发生故障的数据库服务器负责的子任务转交至未发生故障的数据库服务器进行处理。

上述系统，优选的，所述第一任务拆分策略具体基于所述查询任务的任务量、查询任务对应目标数据的时间属性以及数据库服务器集群当前的并行处理能力制定；所述第二任务拆分策略具体基于相应子任务的任务量、子任务对应目标数据的时间属性以及相应数据库服务器当前的多线程并发处理能力制定。

一种任务处理方法，包括：

接收用户的请求信息，所述请求信息包含对数据源中的目标数据集进行查询的查询任务；

基于预先设定的第一任务拆分策略对所述查询任务进行拆分，得到所述查询任务的N个子任务，其中，所述N为大于1的自然数；

基于数据源共享机制，对所述N个子任务进行并行处理，得到相应的N个查询子结果；

利用预先设定的汇总规则对所述N个查询子结果进行汇总、整合，得到用户所需的查询结果集；

将所述查询结果集返回至用户。

上述方法，优选的，所述基于所述数据源对所述N个子任务进行并行处理，得到相应的N个查询子结果，具体包括：

将所述N个子任务以一对一的映射关系分配至N个数据库服务器；

调度所述N个数据库服务器并行接入、访问所述数据源，得到与所述N个子任务相对应的N个查询子结果。

上述方法，优选的，基于所述数据源对所述N个子任务进行并行处理，得到相应的N个查询子结果，还包括：

基于预先设定的第二任务拆分策略对每个所述子任务进行二次拆分，得到所述子任务的M个二次子任务，其中，所述M为大于1的自然数；

调度所述N个数据库服务器并行访问所述数据源，并使每个数据库服务器以多线程处理方式处理其所负责的M个二次子任务。