[发明专利]一种业务数据任务处理方法、装置及系统

说明书

本发明公开了一种业务数据任务处理方法、装置及系统，属于计算机网络技术领域。所述方法包括：通过队列管理服务将任务推送至排序池，并在所述排序池内进行排序；定时将所述排序池内的任务刷新至消费池；通过所述队列管理服务从所述消费池获取任务。本发明通过排序池和消费池的双缓冲队列任务排队机制设置，由于将数据库的排队转换为内存里的排队，再加上排序池与消费池的分离，使得不会因为排序运算影响任务获取的平滑高效，极大地提高了系统效率。

技术领域

本发明涉及计算机网络技术领域，特别涉及一种业务数据任务处理方法、装置及系统。

背景技术

为实现抢占式的任务获取机制，需采用优先级任务队列来实现此场景，任务排队机制是关键。早期的的任务排队机制，一般是从关系型数据库里查询最优先的任务，然后取第一条，并修改其状态，避免其他人获取到这笔任务。这种机制的缺点是：

1)每次都要调用数据库进行大排队，效率极低；

2)并发场景下，容易发生集中作业人员查询到同一个优先任务的情况，只有第一个人能够获取到任务，其他人获取不到，只能再次查询最优先的任务，然后再修改状态，效率极低。

后期改良的队列是定时刷新关系型数据库的优先任务到缓存中，当客户端获取任务时，对队列缓存进行加锁，然后将最优先的任务返回给客户端。此种设计减少了访问关系型数据库次数和数据库排序压力，同时避免大家同时抢占一个任务的情况，但是依然存在如下缺点：

1)需定时进行数据库大排队，数据库压力大；

2)排队期间客户端无法平滑的获取任务，会有瞬时卡顿现象。

发明内容

基于现有技术存在的缺陷，发明人通过探索发现，集中作业类系统需要一种高效的拉取任务机制，但区别于传统推任务方式，拉取方式对于数据的访问更加集中，更难满足效率的要求，因为，如果每次拉取任务都通过关系型数据库查询，并进行排序，数据库的性能将成为瓶颈，会导致效率无法满足。由此，通过提供一种改进后的业务数据任务处理方法、装置及系统，将关系数据库任务先缓存到内存，通过排序池和消费池的双缓冲队列任务排队机制设置，由于将数据库的排队转换为内存里的排队，再加上排序池与消费池的分离，使得不会因为排序运算影响任务获取的平滑高效，极大地提高了系统效率。

一方面，提供了一种业务数据任务处理方法，所述方法包括：

通过队列管理服务将任务推送至排序池，并在所述排序池内进行排序；

定时将所述排序池内的任务刷新至消费池；

通过所述队列管理服务从所述消费池获取任务。

进一步地，通过队列管理服务将任务推送至排序池，并在所述排序池内进行排序，包括：

通过队列管理服务按照预设任务分类规则对待处理任务进行分类操作，形成多个任务队列，然后将每个任务队列推送至所述每个任务队列的对应排序池，并在所述对应排序池内进行排序。

进一步地，通过队列管理服务按照预设任务分类规则对待处理任务进行分类操作，形成多个任务队列，然后将每个任务队列推送至所述每个任务队列的对应排序池，并在所述对应排序池内进行排序，包括：

通过队列管理服务按照流程环节、作业中心和交易大类对获取的待处理任务进行分类操作，形成多个任务队列，然后将每个任务队列推送至所述每个任务队列的唯一对应排序池，并在所述唯一对应排序池内进行插入排序操作。

进一步地，所述分类操作包括：根据预设流程环节、作业中心和交易大类的分类规则，将任务分类为多个对应相应作业中心和/或作业人员的任务队列，并确定每个任务队列中所有任务的任务优先级；和/或，