[发明专利]向Ray集群提交计算任务的方法和装置

说明书

本公开提供了一种向Ray集群提交计算任务的方法，包括：在目标进程中嵌入Python解释器，所述目标进程运行在不同于Python语言环境的目标语言环境下，所述目标语言环境为Java语言环境或Kotlin语言环境；利用所述Python解释器，在所述目标进程中调用Ray框架所提供的Python语言API以与Ray集群建立通信连接；以及经由所述通信连接以Python解释执行的方式将目标计算任务提交至所述Ray集群，以利用所述Ray集群中的多个节点来分布式执行所述目标计算任务，所述目标计算任务基于Python语言而编写。

技术领域

本公开涉及计算机技术领域，具体地，涉及一种向Ray集群提交计算任务的方法、装置、计算设备、计算机可读存储介质以及计算机程序产品。

背景技术

Ray作为一种强大的分布式计算框架，包括了分布式远程调用，分布式内存管理等功能。开发者可以利用Ray框架，将运行在本地(例如，笔记本电脑)上的算法转换为适合于在计算机集群(或单个计算机的多个核心形成的集群)上运行的高性能分布式应用。

Ray框架为用户提供了不同语言的API(例如，Java语言API、Python语言API)，特别地，Ray框架提供了丰富的Python语言API，Ray框架所提供的Python语言API支持Client模式，Python Client API可以在Ray集群之外的节点，将要执行的Python代码上传到远程Ray集群执行。但Ray框架的其他语言(例如，Java语言)的API相对较少并且可能不支持Client模式。例如，由于Ray框架提供的Java语言API不支持Client模式，Java语言API无法直接提交计算任务到Ray集群进行执行，如果想利用Ray集群的计算能力，必须将相应的Jar包部署到Ray集群的每个节点，而这会带来额外的复杂度和风险。

发明内容

有鉴于此，本公开提供了一种向Ray集群提交计算任务的方法、装置、计算设备、计算机可读存储介质以及计算机程序产品，以缓解、减轻、甚至消除上述问题。

根据本公开的一个方面，提供了一种向Ray集群提交计算任务的方法，其特征在于，所述方法包括：在目标进程中嵌入Python解释器，所述目标进程运行在不同于Python语言环境的目标语言环境下，所述目标语言环境为Java语言环境或Kotlin语言环境；利用所述Python解释器，在所述目标进程中调用Ray框架所提供的Python语言API以与Ray集群建立通信连接；以及经由所述通信连接以Python解释执行的方式将目标计算任务提交至所述Ray集群，以利用所述Ray集群中的多个节点来分布式执行所述目标计算任务，所述目标计算任务基于Python语言而编写。

根据本公开的一些实施例，所述在目标进程中嵌入Python解释器包括：在所述目标语言环境所在的操作系统中，通过pip install安装Jep组件或者使用setup.py从Jep源码安装Jep组件；在所述目标进程对应的Java程序或Kotlin程序中引入black.ninia.jep的Jar包依赖；基于所述Jar包依赖，生成JepConfig配置类的第一实例，所述第一实例中设置有路径，所述路径中包含通过Python语言API调用所述Ray集群的Python代码；以及基于所述第一实例生成SharedInterpreter类的第二实例作为CPython解释器。

根据本公开的一些实施例，所述经由所述通信连接以Python解释执行的方式将目标计算任务提交至所述Ray集群包括：利用SharedInterpreter类的invoke方法调用所述Python代码中包含的远程调用所述Ray集群的函数，以将目标计算任务提交至所述Ray集群。

根据本公开的一些实施例，所述经由所述通信连接以Python解释执行的方式将目标计算任务提交至所述Ray集群包括：利用SharedInterpreter类的exec方法调用所述Python代码中包含的远程调用所述Ray集群的函数，以将目标计算任务提交至所述Ray集群。