[发明专利]基于VPC网络的大数据任务调度系统及其控制方法

说明书

本发明提供了一种基于VPC网络的大数据任务调度系统及其控制方法，其中，该系统包括：调度器和执行器，调度器部署在WEB的VPC网络，执行器部署在EMR集群的VPC网络，WEB的VPC网络和EMR集群的VPC网络相互隔离，其中，执行器用于封装大数据组件服务的相关操作，调度器用于基于Netty与执行器建立远程通信，并根据远程通信调用执行器以实现将大数据任务提交到EMR集群。由此，统一了对EMR集群的访问入口，减少了服务相互依赖调用的复杂度，并且通过调度器与执行器之间远程通信调用实现降低了WEB和EMR集群这两个VPC网络之间需要映射的端口数量。

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于VPC网络的大数据任务调度系统和一种基于VPC网络的大数据任务调度系统的控制方法。

背景技术

相关技术中，大数据平台的EMR集群拥有十几种不同的大数据组件服务(例如，ThriftServer、HiveServer、HDFS、Yarn、Kafka、...)，WEB应用可以直接访问大数据组件服务，大数据任务的引擎端也会直接访问大数据组件服务，总而言之，大数据组件服务的调用方众多且对访问要求没有严格限制；一个大数据平台，其大数据组件服务不一定都部署在同一内网网络条件下。如果WEB应用和引擎端的网络在不同的VPC网络之下，且各个VPC网络不相互通信，就会影响大数据平台的正常功能，如：任务调度、任务提交、任务运行的流程，由于不同的VPC网络是相互隔离的，网络通信需要通过VPC之间的网关(Gateway)进行端口映射(Ip地址和端口Port)。WEB应用和引擎端会依赖于大数据组件服务，EMR集群内的大数据组件服务越多，需要通过网关(Gateway)进行映射的端口也就越多。而Gateway一共就只有有限个(例如，65535个)端口，无法满足集群的大规模部署，并且相互映射会增加网络维护的成本。

发明内容

本发明为解决上述技术问题，提供了一种基于VPC网络的大数据任务调度系统，通过执行器封装大数据组件服务的相关操作，统一了对EMR集群的访问入口，减少了服务相互依赖调用的复杂度，并且通过调度器与执行器之间远程通信调用实现降低了WEB和EMR集群这两个VPC网络之间需要映射的端口数量。

本发明采用的技术方案如下：

一种基于VPC网络的大数据任务调度系统，包括：调度器和执行器，所述调度器部署在WEB的VPC网络，所述执行器部署在EMR集群的VPC网络，所述WEB的VPC网络和所述EMR集群的VPC网络相互隔离，其中，所述执行器用于封装大数据组件服务的相关操作，所述调度器用于基于Netty与所述执行器建立远程通信，并根据所述远程通信调用所述执行器以实现将所述大数据任务提交到所述EMR集群。

所述执行器具体用于：定义底层的操作接口，其中，所述操作接口中包括操作大数据组件服务的方案；基于所述操作接口对相应的大数据组件服务完成接口实现；根据对应的大数据组件服务的接口实现对相应的目标对象进行实例化，并封装到Operator的代理对象OperatorProxy中；管理所述代理对象OperatorProxy，并根据所述代理对象OperatorProxy调用相应的大数据组件服务。

所述调度器具体用于：根据需要操作的大数据组件服务发起远程通信请求；通过远程通信客户端将数据传输的方法和参数封装成相应的消息体；通过所述远程通信客户端将所述消息体进行编码，并将编码后的消息体发送至远程通信服务端；通过所述远程通信服务端对所述编码后的消息体进行解码，并根据解码结果在所述执行器中调用对应的大数据组件服务，并接收所述大数据组件服务的执行结果；通过所述远程通信服务端将所述大数据组件服务的执行结果进行编码，并将编码后的大数据组件服务的执行结果发送给所述远程通信客户端；通过所述远程通信客户端对编码后的大数据组件服务的执行结果进行解码，以获取最终的服务调用结果。