[发明专利]业务系统数据分发处理方法、装置及存储介质

说明书

本发明涉及一种数据处理技术，揭露了一种业务系统数据分发处理方法，该方法包括：通过消息队列监听器接收数据处理指令；统计前端业务系统所有待处理的业务表；将各个所述待处理的业务表分发至多个消息队列统计监听器进行并发统计；每个所述消息队列统计监听器在接收到统计所述待处理的业务表的指令后，统计所述待处理的业务表的总数据量；根据所述总数据量和预设数据量将所述待处理的业务表的数据进行切分，生成多个待处理子任务；将所述待处理子任务分发至多个数据处理设备进行并行处理。本发明还提供一种业务系统数据分发处理装置及计算机可读存储介质。本发明能够通过两次的分发并行处理，提高大批量数据的处理效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种业务系统数据分发处理方法、装置及计算机可读存储介质。

背景技术

对于财务系统，当前端业务系统发生了任何费用时都要进行财务记账管理，将复杂的业务数据转化统一的财务数据，最终生成专业化的企业财务报表。然而，前端业务系统数据种类繁多，业务场景各不相同，尤其是随着传统企业向互联网方式转型，前端系统产生的数据量越来越大，数据越来越复杂，每天产生的数据量高达千万级，要求处理效率也越来越高。因此，如何高效地进行数据采集与数据加工成为一个后台系统的核心重点。目前能支持大数据的解决方案有很多，但既能支持大数据处理又能支持事务批量处理的框架都很不成熟。目前国内的框架要么仅能支持大数据处理但不支持事务，要么使用传统的数据库，仅支持事务却没有大数据处理的能力，暂没有一套成熟框架能两者兼具。

发明内容

有鉴于此，本发明提出一种业务系统数据分发处理方法、装置及计算机可读存储介质，以解决至少一个上述技术问题。

首先，为实现上述目的，本发明提出一种业务系统数据分发处理方法，该方法包括步骤：

消息队列监听器接收数据处理指令；

所述消息队列监听器根据所述数据处理指令统计前端业务系统所有待处理的业务表；

所述消息队列监听器将各个所述待处理的业务表分发至多个消息队列统计监听器进行并发统计；

每个所述消息队列统计监听器在接收到统计所述待处理的业务表的指令后，统计所述待处理的业务表的总数据量；

每个所述消息队列统计监听器根据所述总数据量和预设数据量将所述待处理的业务表的数据进行切分，生成多个待处理子任务；及

每个所述消息队列统计监听器将所述待处理子任务分发至多个数据处理设备进行并行处理。

可选地，该方法还包括步骤：

当发生所述待处理子任务处理失败时，所述消息队列统计监听器自动进行任务失败重试。

可选地，所述统计前端业务系统所有待处理的业务表的步骤包括：

统计所有前端业务系统的所有待制证数据；

根据oracle数据库中保存的配置表统计出所述待制证数据中哪些是日制证任务及哪些业务表需要做制证数量统计分析，从而统计出所有待处理的业务表。

可选地，所述将各个所述待处理的业务表分发至多个消息队列统计监听器进行并发统计的步骤包括：

将统计出的所有待处理的业务表按预设规则进行切分，将切分后的每个统计任务发送至第一消息队列，供各个所述消息队列统计监听器通过监听所述第一消息队列获取消息并执行，从而将所述待处理的业务表分发至多个所述消息队列统计监听器进行并发统计。

可选地，所述预设规则为以一个业务表为单位进行任务切分，将每个待处理的业务表的统计任务作为一个消息，发送至所述第一消息队列

可选地，所述根据所述总数据量和预设数据量将所述待处理的业务表的数据进行切分，生成多个待处理子任务的步骤包括：