[发明专利]Hadoop与Kubernetes系统共享计算资源的方法、系统、设备及存储介质在审
申请号: | 201811115370.4 | 申请日: | 2018-09-25 |
公开(公告)号: | CN110941474A | 公开(公告)日: | 2020-03-31 |
发明(设计)人: | 杨松;腾爽;李冬峰;王哲涵 | 申请(专利权)人: | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F9/455 | 分类号: | G06F9/455;G06F9/50 |
代理公司: | 上海弼兴律师事务所 31283 | 代理人: | 薛琦;邓忠红 |
地址: | 100195 北京市海淀区杏石口路6*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | hadoop kubernetes 系统 共享 计算 资源 方法 设备 存储 介质 | ||
1.一种Hadoop与Kubernetes系统共享计算资源的方法,其特征在于,包括:
获取Hadoop系统的镜像文件;
将所述镜像文件加载到所述Kubernetes系统中;
在所述Kubernetes系统的docker上运行所述镜像文件,以在所述Kubernetes系统上启动Hadoop服务。
2.如权利要求1所述的Hadoop与Kubernetes系统共享计算资源的方法,其特征在于,所述方法还包括:
制作所述镜像文件。
3.如权利要求2所述的Hadoop与Kubernetes系统共享计算资源的方法,其特征在于,所述制作所述镜像文件包括:
基于所述Hadoop系统的正式运行环境文件制作所述镜像文件,所述正式运行环境文件包括:hdfs-site.xml、core-site.xml、yarn-site.xml、mapred-site.xml和hadoop-env.sh。
4.如权利要求1所述的Hadoop与Kubernetes系统共享计算资源的方法,其特征在于,将所述镜像文件加载到所述Kubernetes系统中采用预先加载的方式。
5.如权利要求4所述的Hadoop与Kubernetes系统共享计算资源的方法,其特征在于,所述镜像文件存储在镜像仓库中,所述Kubernetes系统从所述镜像仓库拉取所述镜像文件以实现预先加载。
6.如权利要求1所述的Hadoop与Kubernetes系统共享计算资源的方法,其特征在于,所述方法还包括:
设置存储路径,以将所述Hadoop服务产生的最终结果存储至HDFS中。
7.如权利要求1所述的Hadoop与Kubernetes系统共享计算资源的方法,其特征在于,所述方法还包括:
在所述Kubernetes系统上停止所述Hadoop服务。
8.如权利要求7所述的Hadoop与Kubernetes系统共享计算资源的方法,其特征在于,所述方法还包括:
在所述Kubernetes系统上销毁所述Hadoop服务。
9.如权利要求8所述的Hadoop与Kubernetes系统共享计算资源的方法,其特征在于,
根据所述Kubernetes系统的资源的闲置情况定时自动在所述Kubernetes系统的docker上运行所述镜像文件、定时自动停止所述Hadoop服务以及定时自动销毁所述Hadoop服务。
10.如权利要求4所述的Hadoop与Kubernetes系统共享计算资源的方法,其特征在于,所述将所述镜像文件加载到所述Kubernetes系统中包括:
所述Kubernetes系统启动时默认启动所述docker,在所述docker内加载所述镜像文件。
11.如权利要求1所述的Hadoop与Kubernetes系统共享计算资源的方法,其特征在于,所述启动Hadoop服务包括:
启动Yarn的ResourceManager;
启动Yarn的NodeManager。
12.如权利要求7所述的Hadoop与Kubernetes系统共享计算资源的方法,其特征在于,所述在所述Kubernetes系统上停止所述Hadoop服务包括:
停止向所述Kubernetes系统的Hadoop服务中提交计算任务;
关闭所述Kubernetes系统中运行中的计算任务。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811115370.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种量子点白光二极管
- 下一篇:化学发光检测设备及其运作方法