[发明专利]向Ray集群提交计算任务的方法和装置在审
申请号: | 202310559086.0 | 申请日: | 2023-05-17 |
公开(公告)号: | CN116594773A | 公开(公告)日: | 2023-08-15 |
发明(设计)人: | 刘松;邵忠义;杨小芳 | 申请(专利权)人: | 中国国际金融股份有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50;H04L67/10;G06F9/54 |
代理公司: | 中国专利代理(香港)有限公司 72001 | 代理人: | 徐旭;陈岚 |
地址: | 100004 北京市朝阳区建*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | ray 集群 提交 计算 任务 方法 装置 | ||
1.一种向Ray集群提交计算任务的方法,其特征在于,所述方法包括:
在目标进程中嵌入Python解释器,所述目标进程运行在不同于Python语言环境的目标语言环境下,所述目标语言环境为Java语言环境或Kotlin语言环境;
利用所述Python解释器,在所述目标进程中调用Ray框架所提供的Python语言API以与Ray集群建立通信连接;以及
经由所述通信连接以Python解释执行的方式将目标计算任务提交至所述Ray集群,以利用所述Ray集群中的多个节点来分布式执行所述目标计算任务,所述目标计算任务基于Python语言而编写。
2.根据权利要求1所述的方法,其特征在于,所述在目标进程中嵌入Python解释器包括:
在所述目标语言环境所在的操作系统中,通过pip install安装Jep组件或者使用setup.py从Jep源码安装Jep组件;
在所述目标进程对应的Java程序或Kotlin程序中引入black.ninia.jep的Jar包依赖;
基于所述Jar包依赖,生成JepConfig配置类的第一实例,所述第一实例中设置有路径,所述路径中包含通过Python语言API调用所述Ray集群的Python代码;以及
基于所述第一实例生成SharedInterpreter类的第二实例作为CPython解释器。
3.根据权利要求2所述的方法,其特征在于,所述经由所述通信连接以Python解释执行的方式将目标计算任务提交至所述Ray集群包括:
利用SharedInterpreter类的invoke方法调用所述Python代码中包含的远程调用所述Ray集群的函数,以将目标计算任务提交至所述Ray集群。
4.根据权利要求2所述的方法,其特征在于,所述经由所述通信连接以Python解释执行的方式将目标计算任务提交至所述Ray集群包括:
利用SharedInterpreter类的exec方法调用所述Python代码中包含的远程调用所述Ray集群的函数,以将目标计算任务提交至所述Ray集群。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
将所述Ray集群的返回结果赋值给Python变量;以及
调用SharedInterpreter类的getValue方法获取所述Python变量的值并将该值赋给Java变量,从而在所述目标语言环境中获取所述目标计算任务的计算结果。
6.根据权利要求1所述的方法,其特征在于,所述通信连接采用gRPC方式。
7.一种向Ray集群提交计算任务的装置,其特征在于,所述装置包括:
解释器安装模块,其被配置为在目标进程中嵌入Python解释器,所述目标进程运行在不同于Python语言环境的目标语言环境下,所述目标语言环境为Java语言环境或Kotlin语言环境;
通信连接建立模块,其被配置为利用所述Python解释器,在所述目标进程中调用Ray框架所提供的Python语言API以与Ray集群建立通信连接;以及
计算任务提交模块,其被配置为经由所述通信连接以Python解释执行的方式将目标计算任务提交至所述Ray集群,以利用所述Ray集群中的多个节点来分布式执行所述目标计算任务,所述目标计算任务基于Python语言而编写。
8.一种计算设备,其特征在于,所述计算设备包括:
存储器,其被配置成存储计算机可执行指令;
处理器,其被配置成当所述计算机可执行指令被处理器执行时执行根据权利要求1至6中的任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,当所述计算机可执行指令被执行时,执行根据权利要求1至6中的任一项所述的方法。
10.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机可执行指令,其中所述计算机可执行指令被处理器执行时执行根据权利要求1至6中的任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国国际金融股份有限公司,未经中国国际金融股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310559086.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:充电设备
- 下一篇:自动驾驶换道场景的路径规划方法、装置、设备及介质