[发明专利]任务处理方法及装置

权利要求书

1.一种任务处理方法，其特征在于，包括：

过滤待处理任务中的重复数据；检测历史任务结果中是否包含所述待处理任务的执行结果；

若否，将所述待处理任务压入任务堆栈；

若是，直接返回所述待处理任务的执行结果；

将所述待处理任务压入任务堆栈；

根据任务依赖关系确定与所述待处理任务关联的依赖任务，将所述依赖任务压入任务堆栈；

依次执行所述依赖任务和所述待处理任务直到任务堆栈为空；

在执行各任务时，根据各任务中的各个算法的资源占用量和运算速度，为各个算法设置不同数量的进程，用以跑满CPU；

其中资源占用量大和运算速度快的算法所设置的进程数小于资源占用量小和运算速度慢的算法所设置的进程数；

执行所述算法i耗时为，耗费内存为，调用频率为；整个平台分配内存为M，分配核心数为N个，分配所述进程数为；

每个所述算法为独立文件，所述依赖关系通过配置表配置。

2.根据权利要求1所述的方法，其特征在于，所述依次执行所述依赖任务和所述待处理任务直到任务堆栈为空，包括：

在依次执行所述依赖任务时若检测到所述依赖任务包含次依赖任务，将所述次依赖任务压入任务堆栈；

依次执行所述次依赖任务、依赖任务和所述待处理任务直到任务堆栈为空。

3.根据权利要求1所述的方法，其特征在于，所述检测历史任务结果中是否包含所述待处理任务的执行结果，包括：

分别在缓存区和数据库中检测历史任务结果中是否包含所述待处理任务的执行结果。

4.根据权利要求1所述的方法，其特征在于：

所述各个算法各自配置单独队列，所述算法所属的多个进程从所述单独队列中获取任务。

5.一种任务处理装置，其特征在于，包括：

第一处理模块，用于将待处理任务压入任务堆栈；

第二处理模块，用于根据任务依赖关系确定与所述待处理任务关联的依赖任务，将所述依赖任务压入任务堆栈；

任务执行模块，用于依次执行所述第二处理模块压入的依赖任务和所述第一处理模块压入的待处理任务直到任务堆栈为空；

配置调整模块，用于在所述任务执行模块执行各任务时，根据各任务中的各个算法的资源占用量和运算速度，为各个算法设置不同数量的进程，用以跑满CPU；其中资源占用量大和运算速度快的算法所设置的进程数小于资源占用量小和运算速度慢的算法所设置的进程数，执行所述算法i耗时为，耗费内存为，调用频率为；整个平台分配内存为M，分配核心数为N个，分配所述进程数为；每个所述算法为独立文件，所述依赖关系通过配置表配置；

去重检测模块，用于检测历史任务结果中是否包含所述待处理任务的执行结果；所述第一处理模块在去重检测模块检测到历史任务结果中不包含所述待处理任务的执行结果时，将所述待处理任务压入任务堆栈；所述任务执行模块在去重检测模块检测到历史任务结果中包含所述待处理任务的执行结果时，直接返回所述待处理任务的执行结果。