[发明专利]一种基于分布式系统的机器学习程序运行的方法和装置

权利要求书

1.一种基于分布式系统的机器学习程序运行的方法，其特征在于，包括：

根据机器学习程序的运行请求，获取分布式系统中用于运行所述机器学习程序的资源；

根据所述资源中服务器节点的端口信息和标识信息，生成启动参数；

将所述机器学习程序以及所述启动参数发送给对应的服务器节点，使得所述服务器节点启动运行所述机器学习程序；

其中，根据机器学习程序的运行请求，获取分布式系统中用于运行所述机器学习程序的资源的步骤包括：根据机器学习程序的运行请求，确定出运行所述机器学习程序所需的资源；向分布式系统的资源管理器申请所需的资源；以及，获取所述资源管理器返回的资源；其中，获取的资源大于运行所述机器学习程序所需的资源；

在将所述机器学习程序以及所述启动参数发送给对应的服务器节点之后，还包括：接收所述服务器节点返回的心跳信息；根据所述心跳信息，判断所述服务器节点中是否存在异常服务器节点；如果存在，则根据该异常服务器节点的端口信息和标识信息生成重启参数，将所述重启参数发送给所述异常服务器；

其中，当接收到服务器节点发送的注册端口信息和IP的消息后，将所述服务器节点加入就绪节点列表；当所有服务器节点就绪之后，根据已就绪的服务器节点的IP和端口信息生成启动参数。

2.根据权利要求1所述的方法，其特征在于，在获取分布式系统中用于运行所述机器学习程序的资源之后，以及在根据所述资源中服务器节点的端口信息和标识信息，生成启动参数之前，还包括：

确认获取的资源中服务器节点已就绪；

向所述资源中服务器节点的任务管理器发送启动信息，使得所述任务管理器绑定其服务器节点的端口。

3.根据权利要求1所述的方法，其特征在于，在将所述机器学习程序以及所述启动参数发送给对应的服务器节点之后，还包括：

获取所有服务器节点的运行数据；

根据预设的存储路径存储所述运行数据。

4.一种基于分布式系统的机器学习程序运行的装置，其特征在于，包括：

资源获取模块，用于根据机器学习程序的运行请求，获取分布式系统中用于运行所述机器学习程序的资源；

启动参数生成模块，用于根据所述资源中服务器节点的端口信息和标识信息，生成启动参数；

发送模块，用于将所述机器学习程序以及所述启动参数发送给对应的服务器节点，使得所述服务器节点启动运行所述机器学习程序；

所述资源获取模块，还用于根据机器学习程序的运行请求，确定出运行所述机器学习程序所需的资源；向分布式系统的资源管理器申请所需的资源；以及，获取所述资源管理器返回的资源；其中，获取的资源大于运行所述机器学习程序所需的资源；

所述装置还包括容错模块，用于接收所述服务器节点返回的心跳信息；根据所述心跳信息，判断所述服务器节点中是否存在异常服务器节点；如果存在，则启动参数生成模块根据该异常服务器节点的端口信息和标识信息生成重启参数，发送模块将所述重启参数发送给所述异常服务器；

其中，当接收到服务器节点发送的注册端口信息和IP的消息后，将所述服务器节点加入就绪节点列表；当所有服务器节点就绪之后，根据已就绪的服务器节点的IP和端口信息生成启动参数。

5.根据权利要求4所述的装置，其特征在于，还包括：节点任务管理器启动模块，用于确认获取的资源中服务器节点已就绪；向所述资源中服务器节点的任务管理器发送启动信息，使得所述任务管理器绑定其服务器节点的端口。

6.根据权利要求4所述的装置，其特征在于，还包括：存储模块，用于获取所有服务器节点的运行数据；根据预设的存储路径存储所述运行数据。

7.一种基于分布式系统的机器学习程序运行的电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3中任一所述的方法。

8.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-3中任一所述的方法。