[发明专利]一种基于嵌入式jetty和spark on yarn框架的资源管控方法

权利要求书

1.一种基于嵌入式jetty和spark on yarn框架的资源管控方法，其特征在于，包括如下步骤：

(1)搭建hadoop集群和spark集群，部署前后台tomcat服务器；

(2)用户向系统发起spark应用申请资源请求；

(3)后台tomcat接收请求，通过submit方法启动jetty服务，加载servlet，生成常驻进程；启动消息队列，初始化spark上下文生成spark应用，并最终将多个spark应用资源从一个yarn资源队列中申请；

(4)后台tomcat将启动应用结果返回给前台tomcat；

(5)后台不同的jetty常驻进程接收消息队列的消息，执行不同的spark任务；

(6)后台任务常驻进程接受并执行任务，返回给用户最终结果。

2.如权利要求1所述的基于嵌入式jetty和spark on yarn框架的资源管控方法，其特征在于，步骤(3)中，后台tomcat启动jetty服务，保证每个jetty常驻进程对应一个spark应用，为后续用户持续发送该spark应用的任务请求做准备。

3.如权利要求1所述的基于嵌入式jetty和spark on yarn框架的资源管控方法，其特征在于，步骤(3)中，jetty服务启动过程中，包含加载servlet，启动前后台交互的消息队列，初始化spark上下文，向yarn集群申请资源，通过spring事件机制的实现控制，保证事件的顺序性和环境变量的一致性。

4.如权利要求1所述的基于嵌入式jetty和spark on yarn框架的资源管控方法，其特征在于，步骤(3)中，通过submit模式启动jetty服务，保证了多个spark应用可以提交到一个yarn资源队列中。

5.如权利要求1所述的基于嵌入式jetty和spark on yarn框架的资源管控方法，其特征在于，步骤(5)中，前台tomcat把后续的spark任务通过不同的队列名及任务标识发送到不同的消息队列中，后台不同的jetty常驻进程接收消息队列里的消息，进而执行不同的spark任务。