[发明专利]一种基于嵌入式jetty和spark on yarn框架的资源管控方法有效
| 申请号： | 201710947052.3 | 申请日： | 2017-10-12 |
| 公开（公告）号： | CN107797874B | 公开（公告）日： | 2021-04-27 |
| 发明（设计）人： | 邹涛;滕飞;刘冉 | 申请（专利权）人： | 南京中新赛克科技有限责任公司 |
| 主分类号： | G06F9/54 | 分类号： | G06F9/54 |
| 代理公司： | 南京苏高专利商标事务所(普通合伙) 32204 | 代理人： | 王安琪 |
| 地址： | 210000 江苏*** | 国省代码： | 江苏;32 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于嵌入式jetty和spark on yarn框架的资源管控方法，包括如下步骤：(1)搭建hadoop集群和spark集群，部署前后台tomcat服务器；(2)用户向系统发起spark应用申请资源请求；(3)后台tomcat接收请求，通过submit方法启动Jetty服务，加载servlet，生成常驻进程；启动消息队列，初始化spark上下文生成spark应用，并最终将应用提交到yarn集群中；(4)后台tomcat将启动应用结果返回给前台tomcat；(5)前台tomcat发送后续spark任务提交到后台应用的Jetty常驻进程；(6)后台任务常驻进程接受并执行任务，返回给用户最终结果。本发明的有益效果为：用户可以将多个spark应用资源从一个yarn资源队列中申请，保证了资源利用最大化；多个不同应用下的后续任务可以同时执行。 | ||
| 搜索关键词： | 一种 基于 嵌入式 jetty spark on yarn 框架 资源 方法 | ||
【主权项】：
一种基于嵌入式jetty和spark on yarn框架的资源管控方法，其特征在于，包括如下步骤：(1)搭建hadoop集群和spark集群，部署前后台tomcat服务器；(2)用户向系统发起spark应用申请资源请求；(3)后台tomcat接收请求，通过submit方法启动Jetty服务，加载servlet，生成常驻进程；启动消息队列，初始化spark上下文生成spark应用，并最终将应用提交到yarn集群中；(4)后台tomcat将启动应用结果返回给前台tomcat；(5)前台tomcat发送后续spark任务提交到后台应用的Jetty常驻进程；(6)后台任务常驻进程接受并执行任务，返回给用户最终结果。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于南京中新赛克科技有限责任公司，未经南京中新赛克科技有限责任公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710947052.3/，转载请声明来源钻瓜专利网。
