[发明专利]执行机器学习的分布式系统及其方法

说明书

提供了一种执行机器学习的分布式系统及其方法，所述系统包括：多个计算装置，其中，每个计算装置被配置为针对各自的数据记录来执行数据流式计算，其中，所述数据流式计算表示为一个或多个有向无环图；参数存储器，用于维护机器学习模型的参数，其中，在执行训练机器学习模型的数据流式计算时，计算装置利用从参数存储器获取的参数来针对各自的数据记录执行关于机器学习模型训练的运算，并且，参数存储器根据计算装置的运算结果来更新所述参数；并且/或者，在执行利用机器学习模型进行预估的数据流式计算时，计算装置利用从参数存储器获取的参数来针对各自的数据记录执行关于机器学习模型预估的运算。由此，可减少机器学习的运算开销。

技术领域

本发明的示例性实施例总体说来涉及人工智能领域，更具体地说，涉及一种执行机器学习的分布式系统以及利用所述分布式系统来执行机器学习的方法。

背景技术

随着数据规模的迅速增长，机器学习被广泛应用于各种领域以挖掘数据的价值。然而，为了在大数据规模下执行机器学习，实践中往往需要利用包括多个计算装置的分布式机器学习平台来完成机器学习模型的训练或相应的预估。

在现有的分布式机器学习系统中(例如，谷歌的深度学习框架TensorFlow中)，如果想要实现基于某个机器学习算法的多配置运行或多次运行，或者，如果想要同时运行多个机器学习算法，则需要对算法的内部进行修改，或者实现外部逻辑的多次调用，这两种方式都将耗费较大的实际计算量。

发明内容

本发明的示例性实施例旨在克服现有的分布式机器学习系统在执行机器学习时运算开销较大的缺陷。

根据本发明的示例性实施例，提供一种执行机器学习的分布式系统，包括：多个计算装置，其中，每个计算装置被配置为针对各自的数据记录来执行关于机器学习模型的数据流式计算，其中，所述数据流式计算表示为一个或多个由处理步骤组成的有向无环图，每个有向无环图对应于单个机器学习模型；参数存储器，用于维护机器学习模型的参数，其中，在执行训练机器学习模型的数据流式计算时，计算装置利用从参数存储器获取的参数来针对各自的数据记录执行关于机器学习模型训练的运算，并且，参数存储器根据计算装置的运算结果来更新所述参数；并且/或者，在执行利用机器学习模型进行预估的数据流式计算时，计算装置利用从参数存储器获取的参数来针对各自的数据记录执行关于机器学习模型预估的运算。

可选地，在所述分布式系统中，所述参数存储器具有分布式参数服务器结构，其中，在所述分布式参数服务器结构下，每一部分参数服务器与相应的计算装置集成为一体。

可选地，在所述分布式系统中，在执行训练机器学习模型的数据流式计算时，针对数据记录的每一轮迭代来进行灾备。

可选地，在所述分布式系统中，所述数据记录对应于机器学习模型的部分或全部参数。

可选地，在所述分布式系统中，计算装置通过合并不同有向无环图中相同的处理步骤来执行数据流式计算。

可选地，在所述分布式系统中，参数存储器按照键值对来保存机器学习模型的参数，并且，具有相同键的键值对被保存为单个键对应于多个值的形式。

根据本发明的另一示例性实施例，提供一种利用分布式系统来执行机器学习的方法，其中，所述分布式系统中的多个计算装置之中的每个计算装置被配置为针对各自的数据记录来执行关于机器学习模型的数据流式计算，其中，所述数据流式计算表示为一个或多个由处理步骤组成的有向无环图，每个有向无环图对应于单个机器学习模型，所述方法包括：由多个计算装置之中的每个计算装置获取各自的数据记录；由计算装置从分布式系统中的参数存储器获取机器学习模型的参数；其中，在执行训练机器学习模型的数据流式计算时，由计算装置利用获取的参数来针对各自的数据记录执行关于机器学习模型训练的运算，并且，由参数存储器根据计算装置的运算结果来更新所述参数；并且/或者，在执行利用机器学习模型进行预估的数据流式计算时，由计算装置利用获取的参数来针对各自的数据记录执行关于机器学习模型预估的运算。