[发明专利]批量作业处理方法、分布式系统及批量作业处理架构

说明书

本发明实施例公开了一种批量作业处理方法、分布式系统及批量作业处理架构。所述方法包括：通过分布式系统中多个电子设备对所获取批量作业进行预处理，得到相应的预处理结果；通过分布式发布订阅消息系统将所述预处理结果按照所属主题进行存储；通过联机处理系统在触发消费进程时，从所述分布式发布订阅消息系统中调用所述消费进程对应的预处理结果进行消费处理，得到消费结果。该方法通过利用分布式系统中的多个电子设备对所获取高数据量的批量作业进行预处理，在此基础上，通过分布式发布订阅消息系统将预处理结果传输至联机处理系统进行消费处理，能够有效提高批量作业的处理效率。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种批量作业处理方法、分布式系统及批量作业处理架构。

背景技术

在金融、电信和互联网等大企业中，批量作业的处理被广泛应用于各种业务逻辑与业务流程中。其中，作业是指为了完成业务功能的任务，将数据或文件以作业的形式提交给服务器进行处理，具有一定的独立性和明确性。在大量高并发作业的场景下，若使用传统的串行处理机制处理成千上万的作业，批量作业的处理效果将会非常差，如可能会存在传输不及时、高负载以及作业信息丢失等问题。

故，如何提高批量作业的处理效率是当前亟待解决的技术问题。

发明内容

本发明实施例提供了一种批量作业处理方法、分布式系统及批量作业处理架构，以提高批量作业的处理效率。

第一方面，本发明实施例提供了一种批量作业处理方法，包括：

通过分布式系统中多个电子设备对所获取批量作业进行预处理，得到相应的预处理结果；

通过分布式发布订阅消息系统将所述预处理结果按照所属主题进行存储；

通过联机处理系统在触发消费进程时，从所述分布式发布订阅消息系统中调用所述消费进程对应的预处理结果进行消费处理，得到消费结果。

可选的，所述通过分布式系统中多个电子设备对所获取批量作业进行预处理，得到相应的预处理结果，包括：

通过分布式系统将所获取的批量作业传输至所述分布式系统内对应电子设备上进行处理，得到相应的预处理结果。

可选的，所述通过分布式系统将所获取的批量作业传输至所述分布式系统内对应电子设备上进行处理，包括：

通过分布式系统中的负载均衡设备，根据设定规则将所获取的批量作业传输至所述分布式系统内对应电子设备上进行处理。

可选的，针对被分配到作业的每个电子设备，所述电子设备对所分配的作业进行处理，包括：

在所述电子设备上，根据设定计划模板生成所对应作业的作业执行计划；

基于所述作业执行计划对所对应作业进行处理，得到相应的预处理结果。

可选的，所述作业执行计划基于定时器进行定时更新。

可选的，在得到相应的预处理结果之后，还包括：

根据所述批量作业的用途类型对所述预处理结果进行主题分类，得到所述批量作业所对应的多个主题；

将不同主题所对应的预处理结果发送至所述分布式发布订阅消息系统中。

第二方面，本发明实施例还提供了一种分布式系统，包括：

包括多个电子设备，所述分布式系统执行本发明实施例中分布式系统所对应的方法。

第三方面，本发明实施例还提供了一种批量作业处理架构，包括：

分布式系统，用于通过分布式系统中多个电子设备对所获取批量作业进行预处理，得到相应的预处理结果；