[发明专利]一种可批量调度数据的系统及方法

权利要求书

1.一种可批量调度数据的系统，其特征在于，包括：架构搭建单元，其用于搭建所述系统的三层架构；项目创建单元，其用于获取用户二次开发的项目创建信息，并基于所述项目创建信息部署多级调度节点；运行调度单元，其用于通过所述多级调度节点进行负载均衡的批量任务调度；所述三层架构包括应用层、控制层和目标层；所述控制层采用多级金字塔结构，由多种不同类型的节点构成，所述控制层包括EM节点、Server节点和Agent节点，所述Agent节点包括MAgent节点和SAgent节点；所述EM节点，用于与应用层进行通信，用于对应用层的访问权限进行控制，还用于管理和控制所有节点的有效运行；所述Server节点，用于分别于EM节点和Agent节点进行通信，用于完成对Agent节点的调度控制；所述Agent节点，采用主从代理级联方式，用于与目标层进行通信，用于根据目标层的ETL服务器资源使用状态，进行负载均衡部署，将任务分配给相对空闲的ETL服务器执行任务程序；其中，MAgent节点即主代理节点，SAgent节点即从代理节点。

2.根据权利要求1所述的一种可批量调度数据的系统，其特征在于，采用典型的C/S模式搭建所述系统的三层架构。

3.根据权利要求2所述的一种可批量调度数据的系统，其特征在于通过所述应用层获取用户二次开发的项目创建信息，根据所述项目创建信息部署所述控制层的多级调度节点。

4.根据权利要求2所述的一种可批量调度数据的系统，其特征在于，在项目的运行过程中，所述控制层通过多级调度节点对所述目标层进行负载均衡的批量任务调度，所述目标层根据控制层的批量任务调度执行对应的任务程序。

5.根据权利要求2所述的一种可批量调度数据的系统，其特征在于，所述应用层为客户端，所述控制层为服务端，所述目标层为部署在ETL服务器上的任务程序。

6.一种可批量调度数据的自动化实现方法，适用于权利要求1-5任一项所述的可批量调度数据的系统，其特征在于，包括以下步骤：采用典型的C/S模式搭建所述系统的三层架构，所述三层架构包括应用层、控制层和目标层；通过所述应用层获取用户二次开发的项目创建信息，根据项目创建信息部署所述控制层的多级调度节点；在项目的运行过程中，所述控制层通过多级调度节点对所述目标层进行负载均衡的批量任务调度，所述目标层根据所述控制层的批量任务调度执行对应的任务程序；所述控制层采用多级金字塔结构，由多种不同类型的节点构成，所述控制层包括EM节点、Server节点和Agent节点，所述Agent节点包括MAgent节点和SAgent节点；所述EM节点，用于与应用层进行通信，用于对应用层的访问权限进行控制，还用于管理和控制所有节点的有效运行；所述Server节点，用于分别于EM节点和Agent节点进行通信，用于完成对Agent节点的调度控制；所述Agent节点，采用主从代理级联方式，用于与目标层进行通信，用于根据目标层的ETL服务器资源使用状态，进行负载均衡部署，将任务分配给相对空闲的ETL服务器执行任务程序；其中，MAgent节点即主代理节点，SAgent节点即从代理节点。

7.根据权利要求6所述的一种可批量调度数据的自动化实现方法，其特征在于，每个节点由功能不同的多个组件进程组成，节点之间通过Socket完成通信，组件进程之间通过消息队列方式完成通信。