[发明专利]Jupyter容器内动态生成Spark端口访问的方法及设备

说明书

本发明涉及一种Jupyter容器内动态生成Spark端口访问的方法及设备，属于通信技术领域，在启动生成jupyter容器Pod时，动态生成多个不重复的nodePort端口；基于nodePort端口，生成绑定jupyter pod的service，并保持port、targetPort、nodePort一致；基于保持一致的port、targetPort、nodePort，在jupyter容器内直接使用spark on yarn的yarn‑client模式运行spark作业，并获取交互式输出。本发明通过生成jupyter容器时，自动动态生成不重复的Service NodePort,并将spark程序的driver.port和blockManager.port与其绑定，即可实现spark集群访问k8s集群内jupyter容器的driver端，对于原有spark程序只需添加一行配置即可，操作简单，实时生效。

技术领域

本发明属于通信技术领域，具体涉及一种Jupyter容器内动态生成Spark端口访问的方法及设备。

背景技术

对于Jupyter使用进行k8s容器化后，由于k8s集群内部对外隔离的特性，使得现有技术中无法满足在jupyter容器内部以yarn-client模式运行的spark程序。

例如，在现有技术中，Jupyter容器内无法满足直接使用yarn-client模式，只能以local或cluster模式运行spark程序，local模式运行无法使用spark集群的分布式计算能力，cluster模式运行只能全部在spark集群上查看，无法满足客户端交互式开发输出的需求。

发明内容

本发明提供了一种Jupyter容器内动态生成Spark端口访问的方法及设备，以解决Jupyter容器内无法满足直接使用yarn-client模式的技术问题。

本发明提供的技术方案如下：

一方面，一种Jupyter容器内动态生成Spark端口访问的方法，包括：

在启动生成jupyter容器Pod时，动态生成多个不重复的nodePort端口；

基于所述nodePort端口，生成绑定jupyter pod的service，并保持port、targetPort、nodePort一致；

基于保持一致的port、targetPort、nodePort，在jupyter容器内直接使用sparkon yarn的yarn-client模式运行spark作业，并获取交互式输出。

可选的，所述动态生成多个不重复的nodePort端口，包括：

通过yaml文件使用k8s-client生成k8s集群pod；

根据端口全局占用记录表，查询还未被使用的可用NodePort，并在所述未被使用的可用nodeport中轮询选择出适用nodeport。

可选的，所述基于所述nodePort端口，生成绑定jupyter pod的service，并保持port、targetPort、nodePort一致，包括：

基于所述nodePort端口，通过yaml生成绑定所述jupyter容器pod的Service，并保持port、targetPort、nodePort完全一致。

可选的，所述基于保持一致的port、targetPort、nodePort，在jupyter容器内直接使用spark on yarn的yarn-client模式运行spark作业，并获取交互式输出，包括：

k8s集群每个节点上的nodePort端口代理到jupyter容器pod的对应service服务中，以使k8s集群外部客户端直接访问service入口；