[发明专利]一种用于数据集成的轻量级分布式调度方法及系统

摘要

本发明涉及计算机信息技术领域和互联网领域，具体涉及一种用于数据集成的轻量级分布式调度方法包括调度系统，调度系统包括Manager端和Worker端，所述的Manager端任务的管理、调度、协调、补救和任务数据持久化，所述的Worker端负责任务的具体处理执行；基于注册发现机制，Manager和Worker均自主组成服务集群，Manager根据worker节点资源和调度策略将任务下发到Worker节点执行；Manager端引入预调度设计，将任务提前一定时间调度下发到Worker进行自调度，将部分调度压力转移到Worker端；Manager端设计分布式锁来协调调度；基于DAG理论还设计了流程任务调度处理引擎。