[发明专利]用于执行多机器学习任务的分布式系统及其方法

说明书

提供了一种用于执行多机器学习任务的分布式系统及其方法。所述分布式系统包括：多个计算装置，被配置为分别获取指定数据集的不同部分数据，并共同执行多个机器学习任务；其中，每个计算装置被配置为：基于自身所获取的部分数据并行地执行所述多个机器学习任务，其中，所述多个机器学习任务为多个模型训练任务或多个模型预测任务。根据所述分布式系统及其方法，能够有效缩短完成多个机器学习任务所需的时间。

本申请是申请日为2019年8月16日、申请号为201910759163.0、题为“用于执行多机器学习任务的分布式系统及其方法”的专利申请的分案申请。

技术领域

本发明总体说来涉及人工智能领域，更具体地讲，涉及一种用于执行多机器学习任务的分布式系统及其方法。

背景技术

一个机器学习训练任务的执行结果通常由大量的(例如，数十项)配置参数(即，超参数)的取值所决定。在自动机器学习等场景中，为了评估不同配置下机器学习训练任务的执行结果，常常需要对配置参数的取值进行不同尝试及不同组合，并对不同配置下的机器学习训练任务进行计算及评估。

在探索最佳的机器学习模型的过程中，所需执行的机器学习训练任务的数量，关于配置参数的数目及每项配置参数可能的取值数目呈指数增长，例如，对于一个仅有10项配置参数需要配置的机器学习训练任务，若每项配置参数存在3种可能的取值，则这10项配置参数将产生共计59049种可能的组合，将对应于59049个机器学习训练任务。

现有技术通常分别对不同配置下的机器学习训练任务进行独立执行，但存在显著的任务执行效率问题，这使得自动机器学习任务及其他需要对多个机器学习模型进行训练的任务常常无法在合理的时间内完成。

发明内容

本发明的示例性实施例在于提供一种用于执行多机器学习任务的分布式系统及其方法，其能够解决现有技术存在的多机器学习任务无法在合理的时间内完成的问题。

根据本发明的示例性实施例，提供一种用于执行多机器学习任务的分布式系统，包括：多个计算装置，被配置为分别获取指定数据集的不同部分数据，并共同执行多个机器学习任务；其中，每个计算装置被配置为：基于自身所获取的部分数据并行地执行所述多个机器学习任务，其中，所述多个机器学习任务为多个模型训练任务或多个模型预测任务。

可选地，每个计算装置被配置为：一方面从数据源请求所述指定数据集中的数据，并对请求到的数据进行预处理后保存在本地，另一方面读取本地保存的数据，并基于读取的数据执行所述多个机器学习任务。

可选地，每个计算装置被配置为：基于读取的每一条数据，并行地执行所述多个机器学习任务中需要使用该条数据的机器学习任务。

可选地，每个计算装置被配置为：基于读取的每一条数据，使用向量化指令并行地执行所述多个机器学习任务中需要使用该条数据的机器学习任务。

可选地，所述分布式系统还包括：参数服务器，被配置为维护所述多个机器学习任务所涉及的多个机器学习模型的参数，其中，机器学习模型的参数具有键值对的形式，其中，参数服务器被配置为：按照单个键对应于多个值的形式对所述多个机器学习模型的参数进行相同键合并后保存，或者，按照单个键对应于多个值的形式对所述多个机器学习模型的参数进行相同键合并，并对合并后的结果按照第一压缩方式进行压缩后保存。

可选地，当所述多个机器学习任务为所述多个模型训练任务时，每个计算装置被配置为：将被合并了的训练所述多个机器学习模型所得到的结果提供给参数服务器，或者，将被合并且被按照第二压缩方式压缩了的训练所述多个机器学习模型所得到的结果提供给参数服务器，以使参数服务器更新所述多个机器学习模型的参数，其中，所述结果按照单个键对应于多个值的形式被合并。