[发明专利]一种程序包部署方法、电子设备及分布式系统

说明书

本发明实施例提供了一种程序包部署方法、电子设备及分布式系统，该方法应用于第一计算节点，包括：接收训练任务信息，训练任务信息中包含执行训练任务的各台计算节点信息；根据训练任务信息，确定第一计算节点的状态是否为主用状态；如果为主用状态，获取训练程序包，并将所获取的训练程序包部署到执行训练任务的各台计算节点。可见，本方案中，只有主用状态的计算节点获取训练程序包，并将所获取的训练程序包部署到执行训练任务的各台计算节点，也就是说，并不是每台计算节点都从管理设备中获取程序包，降低了网络带宽压力。

技术领域

本发明涉及机器学习技术领域，特别是涉及一种程序包部署方法、电子设备及分布式系统。

背景技术

机器学习是实现人工智能的重要技术手段，机器学习主要是通过对大量数据的学习训练，使得机器具备智能识别的功能。由于学习训练过程中的数据量较大，通常采用分布式系统进行数据训练。

在分布式系统中进行数据训练之前，通常需要在系统的各台计算节点中部署训练所需的程序包，程序包部署完成后，各台计算节点才能协同训练。一般来说，会设置一台管理设备，该管理设备获取训练程序包，并将该程序包下发给系统中各台计算节点。

也就是说，系统中各台计算节点都从该管理设备中获取程序包，这样，该管理设备与各台计算节点之间的网络带宽压力较大。

发明内容

本发明实施例的目的在于提供一种程序包部署方法、电子设备及分布式系统，以降低网络带宽压力。

为达到上述目的，本发明实施例提供了一种程序包部署方法，应用于分布式系统中的第一计算节点，所述方法包括：

接收训练任务信息，所述训练任务信息中包含执行训练任务的各台计算节点信息；

根据所述训练任务信息，确定所述第一计算节点的状态是否为主用状态；

如果为主用状态，获取训练程序包，并将所获取的训练程序包部署到所述执行训练任务的各台计算节点。

可选的，在接收训练任务信息之后，所述方法还可以包括：

解析所述训练任务信息，得到训练程序包的存储地址、执行训练任务的各台计算节点的状态信息及设备地址；

所述根据所述训练任务信息，确定所述第一计算节点的状态是否为主用状态，可以包括：

在所述各台计算节点的状态信息中，查找所述第一计算节点设备地址对应的状态信息；

确定所查找到的状态信息是否为主用状态；

所述获取训练程序包，可以包括：

根据所述训练程序包的存储地址，获取所述训练程序包；

所述将所获取的训练程序包部署到所述执行训练任务的各台计算节点，可以包括：

根据所述各台计算节点的设备地址，在所述各台计算节点中部署所述训练程序包。

可选的，所述方法还可以包括：

如果所述第一计算节点的状态为主用状态，检测到所述执行训练任务的各台计算节点均成功部署所述训练程序包后，生成标记文件，并将所述标记文件发送至所述各台计算节点。

可选的，所述方法还可以包括：

如果所述第一计算节点的状态为主用状态，检测到存在部署所述训练程序包失败的计算节点后，输出用于提示部署失败的第一提示信息。

可选的，所述方法还可以包括：

如果所述第一计算节点的状态不为主用状态，判断是否在预设时间段内接收到所述标记文件；

如果否，输出用于提示部署失败的第二提示信息。