[发明专利]分布式批量数据清理方法及系统

说明书

本发明公开了一种分布式批量数据清理方法及系统，该方法包括：主节点将各个待清理表的清理指令，发送到第一消息队列；主节点对应的各个远程子节点从第一消息队列中读取待清理表的清理指令，根据待清理表的分库分表情况，生成待清理表的一个或多个单表清理指令，发送到第二消息队列；各个远程子节点对应一个或多个清理节点从第二消息队列中读取一个单表清理指令，对单表进行数据清理，并将单表的清理结果返回到第三消息队列；远程子节点从第三消息队列中读取单表的清理结果，汇总各个待清理表的清理结果，返回到第四消息队列；主节点从第四消息队列中读取各个待清理表的清理结果。本发明由多个节点同时对数据进行清理，大大提高了数据清理效率。

技术领域

本发明涉及数据清理领域，尤其涉及一种分布式批量数据清理方法及系统。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

对于业务系统来说，业务量的不断增加，导致数据库中存储的数据表也越来越多。大量的历史数据表，占用过多的存储空间，会影响业务系统的性能，因而，需要定期清理历史数据表。对于一些复杂场景的业务系统，有些数据量比较大的表，经常存在分库分表存储的情况。

现有的数据清理方法，将应用程序部署于单台机器，采用串行方式清理每张数据表，且未考虑数据表分表分库的情况，这种数据清理方式存在效率低下、无法实现跨数据库的关联数据清理的技术问题，无法应对复杂场景下的业务数据清理。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例中提供了一种分布式批量数据清理方法，用以解决现有技术采用的数据清理方法是单机部署、串行方式清理，存在效率低下、无法实现跨数据库的关联数据清理的技术问题，该方法包括：主节点将各个待清理表的清理指令，发送到第一消息队列，其中，主节点对应多个远程子节点；远程子节点从第一消息队列中读取一个待清理表的清理指令，根据待清理表的分库分表情况，生成待清理表的一个或多个单表清理指令，发送到第二消息队列，其中，每个远程子节点对应一个或多个清理节点；清理节点从第二消息队列中读取待清理表的一个单表清理指令，对待清理表的一个单表进行数据清理，并将待清理表一个单表的清理结果返回到第三消息队列；远程子节点从第三消息队列中读取各个单表的清理结果，汇总各个待清理表的清理结果，并将各个待清理表的清理结果返回到第四消息队列；主节点从第四消息队列中读取各个待清理表的清理结果。

本发明实施例中还提供了一种分布式批量数据清理系统，用以解决现有技术采用的数据清理方法是单机部署、串行方式清理，存在效率低下、无法实现跨数据库的关联数据清理的技术问题，该系统包括：主节点模块、远程子节点模块和清理节点模块；主节点模块对应多个远程子节点模块；每个远程子节点模块对应一个或多个清理节点模块，每个远程子节点模块包括：主表清理模块；每个清理节点模块包括：数据清理模块；其中，主节点模块，用于将各个待清理表的清理指令，发送到第一消息队列；远程子节点模块，用于从第一消息队列中读取一个待清理表的清理指令，根据待清理表的分库分表情况，生成待清理表的一个或多个单表清理指令，发送到第二消息队列；清理节点模块，用于从第二消息队列中读取待清理表的一个单表清理指令，对待清理表的一个单表进行数据清理，并将待清理表一个单表的清理结果返回到第三消息队列；其中，远程子节点模块还用于从第三消息队列中读取各个单表的清理结果，汇总各个待清理表的清理结果，并将各个待清理表的清理结果返回到第四消息队列；主节点模块还用于从第四消息队列中读取各个待清理表的清理结果。

本发明实施例中还提供了一种计算机设备，用以解决现有技术采用的数据清理方法是单机部署、串行方式清理，存在效率低下、无法实现跨数据库的关联数据清理的技术问题，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述分布式批量数据清理方法。