[发明专利]训练模型的方法和装置

说明书

本申请提供了一种训练模型的方法和装置，该方法应用于学习系统中，该学习系统包括模型建立模块和控制模块，该方法包括：模型建立模块建立训练模型，并向控制模块返回模型句柄；控制模块获取该模型句柄；控制模块获取配置参数，配置参数用于指示训练模型需要采用的运行方式，该运行方式包括本地运行方式或分布式运行方式；控制模块根据配置参数确定训练模型需要采用的运行方式；控制模块基于运行方式读取数据；控制模块根据模型句柄和运行方式，运行训练模型，得到数据的训练模型的训练结果。这样，提供了一种可以将离线开发和分布式集成的解决方案，不需要依赖spark分布式环境，即可实现分布式运行。

技术领域

本申请涉及智能学习系统技术领域，并且更具体地，涉及一种训练模型的方法和装置。

背景技术

张量流(TensorFlow)是谷歌基于DistBelief进行研发的第二代人工智能学习系统，其命名来源于本身的运行原理。张量(Tensor)表示N维数组，流(Flow)表示基于数据流图的计算，TensorFlow表示张量从流图的一端流动到另一端计算过程。TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。

分布式TensorFlow可以充分利用计算机集群的计算能力，大大加快训练速度。传统做法是，各个开发者在离线环境中开发，完成后将代码上载到分布式系统之中运行。这对于专注人工智能模型的用户来说体验不佳，代码里要具备分布式元素，对开发者要求高；同时调试需要有分布式环境，对开发环境要求也很高，对生成效率影响很大。

现有技术提供了一种使用雅虎(Yahoo)封装的分布式框架运行于Spark中的张量流(TensorFlow On Spark，TFoS)。TFoS提供了扩展能力和运行监控功能；同时代码的编写和维护，比原生应用程序编程接口(Application Programming Interface，API)便捷了很多。但是这种方式依赖Spark环境，需要开发人员熟悉Spark功能库，熟练分布式开发，增加了开发难度，且本地需要安装海杜普(Hadoop)、Spark才能模仿分布式运行，对环境要求高，且分布式环境调试代码成本很大。因此，亟需提出一种方案简化分布式机器学习的开发过程。

发明内容

本申请提供一种训练模型的方法和装置，将本地运行方式和分布式运行方式均在TensorFlow中实现，无需依赖Spark环境，并通过引入配置参数来决定以本地运行方式还是分布式运行方式运行，降低了开发人员的开发难度。

第一方面，提供了一种训练模型的方法，所述方法应用于学习系统中，所述学习系统包括模型建立模块和控制模块，所述方法包括：模型建立模块建立训练模型，并向控制模块返回模型句柄；控制模块获取所述模型句柄；控制模块获取配置参数，所述配置参数用于指示训练模型需要采用的运行方式，其中，所述运行方式包括本地运行方式或分布式运行方式，该配置参数可以是用户输入的；控制模块根据所述配置参数确定训练模型需要采用的运行方式；控制模块基于所述运行方式读取数据；控制模块根据所述模型句柄和所述运行方式，运行所述训练模型，得到所述数据的所述训练模型的训练结果。这样，提供了一种可以将离线开发和分布式集成的解决方案，不需要依赖spark分布式环境，即可实现分布式运行。

可选地，所述配置参数可以是引入的变量ctx。

在一种可选的实现方式中，所述控制模块根据所述配置参数确定训练所述模型需要采用的运行方式，包括：

若所述配置参数为第一变量值，所述控制模块确定采用本地运行方式作为训练模型需要采用的运行方式；

其中，所述控制模块根据所述模型句柄和所述运行方式，运行所述训练模型，得到所述数据的所述训练模型的训练结果，包括：

所述控制模块使用所述模型句柄，以本地运行函数运行所述训练模型，得到所述数据的所述训练模型的训练结果，其中，所述数据是本地数据。