[发明专利]一种分布式数据结转调度系统及方法

权利要求书

1.一种分布式数据结转调度系统，其特征在于，用于对需要进行数据结转的历史数据进行分布式转存，所述调度系统包括：

位于前端的配置模块，用于根据至少一个生产库和至少一个历史库的地址信息以可视化配置方式配置一个以上的结转任务，所述生产库中存储有待进行数据结转的历史数据，所述历史库为存储长期保护的历史数据的数据库；

位于后端的后台服务模块，用于根据任一结转任务和正常运行的结转引擎节点信息，生成用于结转引擎节点执行的任务执行计划；

多个结转引擎节点，每一结转引擎节点用于解析所述任务执行计划并执行。

2.根据权利要求1所述的系统，其特征在于，所述配置模块包括：

可视化操作单元，用于可视化的配置结转任务；

执行计划管理单元，用于管理所述任务执行计划；

节点任务管理单元，用于管理正在执行任务执行计划的结转引擎节点的执行信息；

执行结果管理单元，用于基于各结转引擎节点的执行结果进行管理；

日志分析单元，用于基于各结转引擎节点上报的异常日志进行分析并定位存在问题的任务执行计划。

3.根据权利要求2所述的系统，其特征在于，可视化操作单元，用于可视化的配置所述结转任务，包括：

根据用户在可视化操作单元中选择的待结转的生产库地址、在生产库所选择的历史数据、所述历史数据的数据量、配置的过滤条件和触发条件以及确定导入的历史库地址，生成一个结转任务，并将生成的结转任务存储到任务待执行列表中。

4.根据权利要求3所述的系统，其特征在于，根据所述任务待执行列表中的任一结转任务和正常运行的结转引擎节点信息，生成用于结转引擎节点执行的任务执行计划，具体包括：

根据所述结转任务中的历史数据的数据量和结转引擎的数量，按照分配策略获取每一结转引擎所对应的历史数据的数据量的范围；

所述分配策略为每一结转引擎所对应的历史数据的数据量的范围的数据量相同；

根据所述历史数据的数据量和每一结转引擎所对应的历史数据的数据量的范围、用户设定的过滤条件、用户设定的触发条件组装生成与结转引擎数量相同的任务执行脚本；

所述任务执行脚本包括任务正向执行脚本和任务回滚执行脚本；

所述任务正向执行脚本包括：在用户确定的生产库地址对应的生产库中查询所述结转引擎所对应的历史数据的数据量的范围，并将所述结转引擎所对应的历史数据的数据量的范围插入至用户确定的历史库地址对应的历史库中的操作的信息；

所述任务回滚执行脚本包括：删除用户确定的历史库地址对应的历史库中的所述结转引擎所对应的历史数据的数据量的范围操作的信息；

根据与结转引擎数量相同的任务执行脚本、触发条件、每一结转引擎的IP、用户在所述配置界面中确定的生产库地址、历史库地址组成与结转引擎数量相同的任务；

所述触发条件包括：每一任务执行计划的执行开始时间；

根据所述与结转引擎数量相同的任务生成任务执行计划；

所述任务执行计划包括：每一任务的执行开始时间、每一任务的结束时间、每一任务的任务执行脚本、每一任务所对应的结转引擎的IP。

5.根据权利要求4所述的系统，其特征在于，所述调度系统还包括：注册中心模块；

所述注册中心模块，用于注册结转引擎节点信息，所述结转引擎节点信息包括结转引擎节点的数量和每一结转引擎的IP；

所述配置模块还用于：

在配置任务之前，通过注册中心模块获取结转引擎节点信息；

在每一个结转引擎节点执行任务后，接收每一结转引擎节点发送的执行结果和异常日志。

6.根据权利要求5所述的系统，其特征在于，每一结转引擎节点用于解析所述任务执行计划并执行，包括：

每一结转引擎节点拉取到任务执行计划中与所述结转引擎结点IP相应的任务后，将拉取的任务按照每一任务的执行开始时间依次存储在执行队列中，并查看所述执行队列中任务的执行开始时间和当前系统所在的设备的时间是否一致，若一致，则触发执行该任务；

在任务执行完成或执行失败时，则将执行结果发送所述配置模块。