[发明专利]分布式开发方法、装置、存储介质及计算机设备

说明书

本发明公开了一种分布式开发方法、装置、存储介质及计算机设备。其中，该方法包括：建立Docker，其中，Docker中部署有进行分布式开发的训练的工具代码和框架；接收进行分布式开发的训练任务；为训练任务分配计算资源，其中，计算资源包括集群中的计算节点；为分配有训练任务的计算节点挂载分布式文件系统；通过在分配有训练任务的计算节点加载Docker的方式，分别执行分配给计算节点的训练任务。通过本发明，解决了在相关技术中，采用定制集群的方式进行分布式开发的训练时，存在集群规模受限，维护成本大，以及浪费集群计算资源的技术问题。

技术领域

本发明涉及计算机领域，具体而言，涉及一种分布式开发方法、装置、存储介质及计算机设备。

背景技术

在相关技术的分布式开发(例如，语音识别)中，语言模型和声学模型的训练，对数据量要求非常高，随之带来的问题就是如何提高计算效率。传统的隐马尔可夫模型-高斯混合模型(Hidden Markov Model-Gaussian Mixture Model，简称为HMM-GMM)、隐马尔可夫模型-深度神经网络(Hidden Markov Model-Deep Neural Ne tworks,简称为HMM-DNN)技术需要的训练数据量在一万小时左右就能达到不错的效果。为了达到更高的精度，新的如deep speech需要的数据量在10万小时，传统的单机多卡的训练方式已经无法满足更大量数据的训练需求。

为满足大量数据的训练需求，在相关技术中，公开号为CN104853061B的专利申请提出了一种基于Hadoop的视频处理方法及系统：将待处理视频文件上传至Hadoop分布式文件系统；基于Fuse-DFS子项目，将所述待处理视频文件挂载到所述Hadoop分布式文件系统中各集群节点的本地文件系统上；通过JavaCV调用OpenCV和FFMEPG对挂载于本地文件系统，但存储于所述Hadoop分布式文件系统中的待处理视频文件基于MapReduce并行计算模型进行并行分析。该视频处理方法在Hadoop系统上实现与集群节点数成正比的加速。

但采用该视频处理方法，存在使用场景的限制，需要专门定制集群。主要存在两个问题：一个是企业内部计算机群是公用的，定制集群意味着集群规模受限，无法在训练期间达到很高的算力；第二是，在非训练时段，集群的闲置，会导致计算资源的浪费，从而导致无法充分的利用分布式集群的弹性计算。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种分布式开发方法、装置、存储介质及计算机设备，以至少解决在相关技术中，采用定制集群的方式进行分布式开发的训练时，存在集群规模受限，维护成本大，以及浪费集群计算资源的技术问题。

根据本发明实施例的一个方面，提供了一种分布式开发方法，包括：建立Docker，其中，所述Docker中部署有进行分布式开发的工具代码和框架；接收进行分布式开发的训练任务；为所述训练任务分配计算资源，其中，所述计算资源包括集群中的计算节点；为分配有所述训练任务的计算节点挂载分布式文件系统；通过在分配有所述训练任务的计算节点加载所述Docker的方式，分别执行分配给所述计算节点的训练任务。

根据本发明实施例的另一个方面，提供了一种分布式开发方法，包括：接收进行分布式开发的的训练请求，其中，所述训练请求中携带有进行分布式开发的训练任务；采用以下训练方式，执行所述训练任务，得到训练结果，其中，所述训练方式包括：为所述训练任务分配集群中的计算节点，在所述计算节点挂载分布式文件系统，通过在所述计算节点上加载预先建立的Docker的方式，分别执行所述训练任务，得到训练结果，其中，所述Docker中部署有进行分布式开发的的工具代码和框架；反馈进行分布式开发的训练结果。