[发明专利]一种基于分布式架构的多源异构数据融合执行引擎

权利要求书

1.一种基于分布式架构的多源异构数据融合执行引擎，其特征在于：该执行引擎采用HA架构，包括调度节点和执行节点，调度节点接收到客户端提交的任务，放入待切分队列，当调度节点的巡检服务检测到待切分队列有任务时，切分任务为分片任务集合，将分片任务放入待启动队列，当调度节点的巡检服务检测到待启动队列分片任务数大于0时，查看执行中队列的分片任务数是否小于支持的阈值，如果小于阈值，将分片任务从待启动队列移动到执行中队列等待执行节点申领任务，当执行节点资源空闲时，向调度节点申请分片任务，领取到分片任务的执行节点启动任务容器，初始化分片任务的读写规则、过滤转换规则，启动读线程与写线程执行分片转储任务，分片任务执行结束时通知调度节点更新任务状态，当执行节点导致分片任务执行失败时，调度节点重新调度该分片任务为未执行状态给执行节点领取执行。

2.根据权利要求1所述的基于分布式架构的多源异构数据融合执行引擎，其特征在于：所述调度节点通过Zookeeper进行分布式管理。

3.根据权利要求2所述的基于分布式架构的多源异构数据融合执行引擎，其特征在于：调度节点分为Active管理节点和Standby管理节点，Standby管理节点实时同步Active管理节点的任务分配信息，并控制Active管理节点的运行状态，在Active管理节点丢失时，切换为Active状态。

4.根据权利要求3所述的基于分布式架构的多源异构数据融合执行引擎，其特征在于：调度节点的管理过程为：启动调度节点时，Active管理节点和Standby管理节点同时在Zookeeper中注册同一临时节点，注册成功的则为Active状态，失败的则为Standby状态，Standby状态的管理节点监听Zookeeper中的临时节点，当临时节点丢失时，Standby状态的管理节点与Active状态的管理节点通信，通信成功则通知Active状态的管理节点创建临时节点，通信失败则Standby状态的管理节点在Zookeeper中创建临时节点，并切换Standby状态为Active状态。

5.根据权利要求4所述的基于分布式架构的多源异构数据融合执行引擎，其特征在于：调度节点任务拆分是通过切分检测服务从待切分队列中获取任务对象，解析对象中的配置信息进行检测，检测通过则进行任务切分并把切分后的分片任务集合放入待启动队列中，检测失败则移除任务并记录对应的检测报告信息。

6.根据权利要求5所述的基于分布式架构的多源异构数据融合执行引擎，其特征在于：所述执行节点通过Zookeeper进行分布式管理。

7.根据权利要求6所述的基于分布式架构的多源异构数据融合执行引擎，其特征在于：执行节点的管理过程为：启动执行节点时，在Zookeeper中注册以所在主机IP命名的临时节点并通知Active管理节点监听，当调度节点监听到临时节点丢失时，Active管理节点与执行节点通信，若执行节点存活，则通知执行节点在Zookeeper中注册对应的临时节点。

8.根据权利要求7所述的基于分布式架构的多源异构数据融合执行引擎，其特征在于：执行节点任务执行是通过分片任务，判断源数据库类型及目标数据库类型，根据数据库类型创建对应的读线程和写线程。