[发明专利]准实时异步批量处理系统、方法、装置和存储介质

说明书

本发明提供一种准实时异步批量处理系统，所述系统包括：异步调度模块，用于通过异步调度接口对应用数据进行预约调度处理；分布式队列模块，用于对所述应用数据进行分布式消息队列处理；以及异步执行模块，用于触发和执行所述分布式消息队列。本发明通过利用分库分表、分布式缓存、分布式队列和流式处理技术等技术对现有框架进行改造，以解决当前调度处理中效率不高且可扩展性较差的问题。

技术领域

本发明涉及数据处理领域，具体而言，涉及一种准实时异步批量处理系统、方法、装置和存储介质。

背景技术

为了实现高效、快速、稳定的调度和执行，需要将调度和执行进行解耦，使调度能够单方向地驱动执行，又能够顺利监控执行的进度和结果，还不能使调度的排队和等待占用执行的资源，也不能使执行的过程占用调度的资源，所以目前主要的解决思路是将调度和执行放到不同的线程、进程、进程池乃至不同的计算机或是计算机集群上，根据需要也可以采用一些商业化的调度框架和执行框架，这就需要解决调度和执行之间高效通信和协调的问题，同时也必须考虑与日俱增的业务量对系统横向扩展能力的挑战。

目前的现有技术主要有两种常见方法：商业化的调度框架加小程序开发的模式。这种方法通过定义商业化调度框架中的执行流程，按照一定的顺序调起脚本、存储过程或是其他可执行程序，这种方式解决了调度与执行的解耦问题，但存在耦合过于松散的问题，对于执行结果的监控不够精确，不够灵活，且调度的可扩展性往往很差，且不能适应一些较为个性化的业务场景。

自己开发调度器和执行代码。这种方法往往调度和执行耦合严重，虽然能够较好地监控执行结果，控制执行流程，但是往往效率不高，且可扩展性较差。

发明内容

为解决上述技术问题，本发明提供了一种准实时异步批量处理系统、方法、装置和存储介质，解决当前调度处理中效率不高且可扩展性较差的问题。

根据本发明实施例的第一方面，提供了一种准实时异步批量处理系统，所述系统包括：

异步调度模块，用于通过异步调度接口对应用数据进行预约调度处理；

分布式队列模块，用于对所述应用数据进行分布式消息队列处理；以及

异步执行模块，用于触发和执行所述分布式消息队列。

根据本发明实施例的第二方面，提供一种准实时异步批量处理方法，所述方法包括：

异步调度模块通过异步调度接口对应用数据进行预约调度处理；

分布式队列模块对所述应用数据进行分布式消息队列处理；以及

异步执行模块触发和执行所述分布式消息队列。

根据本发明实施例的第三方面，提供一种计算机可读存储介质，所述计算机存储介质包含有计算机程序，其中，所述计算机程序在被一个或多个计算机执行时使得所述一个或多个计算机执行如下操作：

所述操作包括如上中任一项所述的准实时异步批量处理方法所包含的步骤。

根据本发明实施例的第四方面，提供一种准实时异步批量处理装置，所述装置包括：

存储器，存储有计算机可读指令；

处理器，执行所述计算机可读指令以执行如上所述的准实时异步批量处理方法所包含的步骤。

实施本发明实施例提供的一种准实时异步批量处理系统、方法、装置和存储介质，具有以下优点：通过一种在准实时异步批量处理方式，实现了任务调度与执行的充分解耦，并对调度与执行都提供了强大的横向扩展能力，能够方便实现运行时的动态扩容。

附图说明

图1是本发明实施例的一种准实时异步批量处理系统1的结构示意图；