[发明专利]Jupyter容器内动态生成Spark端口访问的方法及设备在审
申请号: | 202110360061.9 | 申请日: | 2021-04-02 |
公开(公告)号: | CN113094150A | 公开(公告)日: | 2021-07-09 |
发明(设计)人: | 程欣 | 申请(专利权)人: | 上海中通吉网络技术有限公司 |
主分类号: | G06F9/455 | 分类号: | G06F9/455 |
代理公司: | 北京细软智谷知识产权代理有限责任公司 11471 | 代理人: | 鲍亚平 |
地址: | 201799 上*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及一种Jupyter容器内动态生成Spark端口访问的方法及设备,属于通信技术领域,在启动生成jupyter容器Pod时,动态生成多个不重复的nodePort端口;基于nodePort端口,生成绑定jupyter pod的service,并保持port、targetPort、nodePort一致;基于保持一致的port、targetPort、nodePort,在jupyter容器内直接使用spark on yarn的yarn‑client模式运行spark作业,并获取交互式输出。本发明通过生成jupyter容器时,自动动态生成不重复的Service NodePort,并将spark程序的driver.port和blockManager.port与其绑定,即可实现spark集群访问k8s集群内jupyter容器的driver端,对于原有spark程序只需添加一行配置即可,操作简单,实时生效。 | ||
搜索关键词: | jupyter 容器 动态 生成 spark 端口 访问 方法 设备 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海中通吉网络技术有限公司,未经上海中通吉网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202110360061.9/,转载请声明来源钻瓜专利网。