[发明专利]一种分布式数据结转调度系统及方法

说明书

本发明涉及一种分布式数据结转调度系统及方法，所述系统用于对需要进行数据结转的历史数据进行分布式转存，所述调度系统包括：位于前端的配置模块，用于根据至少一个生产库和至少一个历史库的地址信息以可视化配置方式配置一个以上的结转任务，所述生产库中存储有待进行数据结转的历史数据，所述历史库为存储长期保护的历史数据的数据库；位于后端的后台服务模块，用于根据任一结转任务和正常运行的结转引擎节点信息，生成用于结转引擎节点执行的任务执行计划；多个结转引擎节点，每一结转引擎节点用于解析所述任务执行计划并执行。

技术领域

本发明涉及计算机数据结转调度技术领域，尤其涉及一种分布式数据结转调度系统及方法。

背景技术

业务数据一般都会有一个生命周期，生命周期内的我们叫生产数据，生命周期之外(即业务已经关闭)的叫历史数据，我们这里提到的数据结转，指的是将需要长期保存的历史数据从生产库迁移到历史库，而将需要短期保存的数据定期删除。

然而现有的用于数据结转的技术中，由于只是采用单独的一个结转引擎去处理相应的数据，造成数据结转过程的效率很低，准确率低。

发明内容

(一)要解决的技术问题

鉴于现有技术的上述缺点、不足，本发明提供一种分布式数据结转调度系统及方法，其解决了现有技术中，由于只是采用单独的一个结转引擎去处理相应的数据，造成数据结转过程的效率很低，准确率低技术问题。

(二)技术方案

为了达到上述目的，本发明采用的主要技术方案包括：

第一方面，本发明实施例提供一种分布式数据结转调度系统，用于对需要进行数据结转的历史数据进行分布式转存，所述调度系统包括：

位于前端的配置模块，用于根据至少一个生产库和至少一个历史库的地址信息以可视化配置方式配置一个以上的结转任务，所述生产库中存储有待进行数据结转的历史数据，所述历史库为存储长期保护的历史数据的数据库；

位于后端的后台服务模块，用于根据任一结转任务和正常运行的结转引擎节点信息，生成用于结转引擎节点执行的任务执行计划；

多个结转引擎节点，每一结转引擎节点用于解析所述任务执行计划并执行。

优选的，所述配置模块包括：

可视化操作单元，用于可视化的配置结转任务；

执行计划管理单元，用于管理所述任务执行计划；

节点任务管理单元，用于管理正在执行任务执行计划的结转引擎节点的执行信息；

执行结果管理单元，用于基于各结转引擎节点的执行结果进行管理；

日志分析单元，用于基于各结转引擎节点上报的异常日志进行分析并定位存在问题的任务执行计划。

优选的，可视化操作单元，用于可视化的配置所述结转任务，包括：

根据用户在可视化操作单元中选择的待结转的生产库地址、在生产库所选择的历史数据、所述历史数据的数据量、配置的过滤条件和触发条件以及确定导入的历史库地址，生成一个结转任务，并将生成的结转任务存储到任务待执行列表中。

优选的，根据所述任务待执行列表中的任一结转任务和正常运行的结转引擎节点信息，生成用于结转引擎节点执行的任务执行计划，具体包括：

根据所述结转任务中的历史数据的数据量和结转引擎的数量，按照分配策略获取每一结转引擎所对应的历史数据的数据量的范围；

所述分配策略为每一结转引擎所对应的历史数据的数据量的范围的数据量相同；