[发明专利]分布式开发方法、装置、存储介质及计算机设备

权利要求书

1.一种分布式开发方法，其特征在于，包括：

建立Docker，其中，所述Docker中部署有进行分布式开发的工具代码和框架；

接收进行分布式开发的训练任务；

为所述训练任务分配计算资源，其中，所述计算资源包括集群中的计算节点；

为分配有所述训练任务的计算节点挂载分布式文件系统；

通过在分配有所述训练任务的计算节点加载所述Docker的方式，分别执行分配给所述计算节点的训练任务。

2.根据权利要求1所述的方法，其特征在于：

接收进行分布式开发的所述训练任务包括：通过网关接收所述训练任务；

为所述训练任务分配计算资源包括：通过所述网关向集群申请计算资源，并将申请的计算资源分配给所述训练任务。

3.根据权利要求1所述的方法，其特征在于，包括：为分配有所述训练任务的计算节点挂载分布式文件系统包括：

使用fuse-DFS对分布式文件系统进行抽象，得到抽象的分布式文件系统；

为分配有所述训练任务的计算节点挂载抽象的分布式文件系统。

4.根据权利要求1所述的方法，其特征在于，在分配有所述训练任务的计算节点加载建立的Docker的方式包括以下之一：

在分配有所述训练任务的计算节点存在多个，并且所述训练任务之间不需要通信的情况下，采用map/reduce的方式加载建立的Docker；

在分配有所述训练任务的计算节点存在多个，并且所述训练任务之间需要通信的情况下，采用mpi的方式加载建立的Docker。

5.根据权利要求1至4中任一项所述的方法，其特征在于，在通过在分配有所述训练任务的计算节点加载建立的Docker的方式，分别执行分配给所述计算节点的训练任务之后，还包括：

释放为所述训练任务分配的计算资源。

6.根据权利要求5所述的方法，其特征在于，进行分布式开发的训练任务包括：用于语音识别的训练任务。

7.一种分布式开发方法，其特征在于，包括：

接收进行分布式开发的训练请求，其中，所述训练请求中携带有用于进行分布式开发的训练任务；

采用以下训练方式，执行所述训练任务，得到训练结果，其中，所述训练方式包括：为所述训练任务分配集群中的计算节点，在所述计算节点挂载分布式文件系统，通过在所述计算节点上加载预先建立的Docker的方式，分别执行所述训练任务，得到训练结果，其中，所述Docker中部署有进行分布式开发的工具代码和框架；

反馈进行分布式开发的训练结果。

8.根据权利要求7所述的方法，其特征在于，

接收进行分布式开发的训练请求包括：通过网关接收进行分布式开发的训练请求；

为所述训练任务分配集群中的计算节点包括：通过所述网关向集群申请计算资源的方式，为所述训练任务分配集群中的计算节点；

在对执行所述训练任务，得到训练结果之后，还包括：释放此轮为所述训练任务申请的计算资源。

9.根据权利要求7至8中任一项所述的方法，其特征在于，所述训练任务包括：需要在多个计算节点间通信的训练任务和不需要在多个计算节点间通信的训练任务，其中，针对需要在多个计算节点间通信的训练任务,采用mpi的方式加载预先建立的Docker；针对不需要在多个计算节点间通信的训练任务，采用map/reduce的方式加载预先建立的Docker。

10.根据权利要求9所述的方法，其特征在于，进行分布式开发的训练任务包括：用于语音识别的训练任务。