[发明专利]异步任务数据处理方法、装置及计算机可读存储介质

说明书

本发明涉及一种数据处理技术，揭露了一种异步任务数据处理方法，包括：获取客户端待处理的异步任务数据，将所述异步任务数据输入至预先构建的异步消息服务器中，其中，所述异步消息服务器包括生产者、管理者以及消费者；通过所述生产者对所述异步任务数据进行解析处理，得到消息集；通过所述管理者对所述消息集进行汇总处理，得到源消息集；通过所述消费者对所述源消息集进行消费订阅，得到目标消息集；将所述目标消息集传输到后台数据库中，得到所述目标消息集的查询结果，并通过所述异步消息服务器将所述查询结果返回给所述客户端。本发明还提出一种异步任务数据处理装置以及一种计算机可读存储介质。本发明实现了异步任务数据的高效处理。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种异步任务数据处理方法、装置及计算机可读存储介质。

背景技术

目前，基于oracle数据存储介质的架构大多无法满足高并发的业务量处理，一些实时性要求不高的数据会通过异步任务的方式来处理。其中，所述通过异步任务的方式处理步骤为：先在oracle数据库中写一条待处理的任务；再通过定时任务去抓取数据库中异步任务数据进行业务逻辑的处理。所述通过异步任务的方式处理的缺点包括：1、强依赖数据库，高并发下对数据库压力增大；2、大量的任务积压会影响任务的处理速度。

发明内容

本发明提供一种异步任务数据处理方法、装置及计算机可读存储介质，其主要目的在于当用户在异步任务数据处理时，给用户提供一种高效的异步任务数据处理的方法。

为实现上述目的，本发明提供的一种异步任务数据处理方法，包括：

获取客户端待处理的异步任务数据，将所述异步任务数据输入至预先构建的异步消息服务器中，其中，所述异步消息服务器包括生产者、管理者以及消费者，所述生产者和所述消费者分别与所述管理者连接；

通过所述生产者对所述异步任务数据进行解析处理，得到所述异步任务数据的消息集；

通过所述管理者对所述异步任务数据的消息集进行汇总处理，得到源消息集；

通过所述消费者对所述源消息集进行消费订阅，得到目标消息集；

将所述目标消息集传输到后台数据库中，得到所述目标消息集的查询结果，并通过所述异步消息服务器将所述查询结果返回给所述客户端。

可选地，所述预先构建的异步消息服务器包括RocketMQ消息中间件；及将所述生产者和所述消费者分别与所述管理者建立连接，包括：

在所述生产者与所述管理者之间开启一个第一信道，通过所述第一信道声明一个第一交换器，在所述生产者和所述管理者之间声明一个第一消息队列，利用路由键绑定所述第一交换器和所述第一队列，实现所述生产者和所述管理者的连接建立；

在所述消费者与所述管理者之间开启一个第二信道，通过所述第二信道声明一个第二交换器，在所述消费者和所述管理者之间声明一个第二消息队列，利用路由键绑定所述第二交换器和所述第二队列，实现所述消费者和所述管理者的连接建立。

可选地，所述解析处理包括：

对所述异步任务数据进行过滤，根据用户的需求通过运维指令对过滤后的所述异步任务数据进行增加、删除、改变以及查看操作，完成所述解析处理。

可选地，所述管理者包括Broker模块和Name Server模块；及所述管理者对所述异步任务数据的消息集进行汇总处理，得到源消息集，包括：

将所述异步任务数据的消息集传输到所述Broker模块中，并定期从所述NameServer模块中获取所述异步任务数据的消息集主题路由信息；

通过所述Name Server模块中的Namesrv Startup类对所述消息集主题路由信息进行解析，得到所述异步任务数据的消息集中各个节点的信息；