[发明专利]大数据处理系统Hadoop在云平台OpenStack上自动部署系统在审
申请号: | 201510154844.6 | 申请日: | 2015-04-02 |
公开(公告)号: | CN104734892A | 公开(公告)日: | 2015-06-24 |
发明(设计)人: | 管江华;陈曙东 | 申请(专利权)人: | 江苏物联网研究发展中心 |
主分类号: | H04L12/24 | 分类号: | H04L12/24;H04L29/08 |
代理公司: | 无锡市大为专利商标事务所(普通合伙) 32104 | 代理人: | 殷红梅;刘品超 |
地址: | 214135 江苏省无锡市新*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明提供一种大数据处理系统Hadoop在云平台OpenStack上自动部署系统,包括:服务定制模块、Hadoop集群控制模块、协调控制模块和OpenStack平台支持模块;OpenStack平台支持模块安装在Openstack平台上,用来提供虚拟机创建、管理及物理资源虚拟化服务;服务定制模块安装在OpenStack平台支持模块上,用于提供服务的使用接口,获取用户输入的Hadoop集群需求信息; Hadoop集群控制模块由服务定制模块调用,根据服务定制模块传来的用户需求信息,转换为具体的Hadoop集群配置文件,并生成具体的Hadoop业务运行命令脚本,在Hadoop业务运行的过程中转发Hadoop集群中资源管理器发出的资源管理请求、作业调度相关的命令;并通过协调控制模块触发所述OpenStack平台支持模块创建相应的Hadoop集群。 | ||
搜索关键词: | 数据处理系统 hadoop 平台 openstack 自动 部署 系统 | ||
【主权项】:
一种大数据处理系统Hadoop在云平台OpenStack上自动部署系统,其特征在于,包括:服务定制模块(1)、Hadoop集群控制模块(2)、协调控制模块(3)和OpenStack平台支持模块(4);所述OpenStack平台支持模块(4)安装在Openstack平台(5)上,用来提供虚拟机创建、管理及物理资源虚拟化服务;所述服务定制模块(1)安装在所述OpenStack平台支持模块(4)上,用于向用户提供服务的使用接口,获取用户输入的Hadoop集群需求信息;所述Hadoop集群控制模块(2)由服务定制模块(1)调用,根据服务定制模块(1)传来的用户需求信息,转换为具体的Hadoop集群配置文件,并生成具体的Hadoop业务运行命令脚本,在Hadoop业务运行的过程中转发Hadoop集群中资源管理器发出的资源管理请求、作业调度相关的命令;并通过协调控制模块(3)触发所述OpenStack平台支持模块(4)创建相应的Hadoop集群;所述协调控制模块(3)用于在Hadoop集群运行任务时,监听Hadoop集群的资源管理请求和作业调度任务,交给协调控制模块(3)中的调度子模块(301)进行调度决策,然后由调度子模块(301)通过协调控制模块(3)中的OpenStack API接口(302)调用Openstack平台(5)中的相应组件命令完成具体的资源请求和作业调度操作,并在调度子模块(301)进行调度决策时安排Hadoop集群申请资源在Openstack平台(5)的物理机器中的位置。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于江苏物联网研究发展中心;,未经江苏物联网研究发展中心;许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201510154844.6/,转载请声明来源钻瓜专利网。
- 上一篇:一种流量数据筛选方法和装置
- 下一篇:通信芯片