[发明专利]针对数据记录执行机器学习的分布式系统及其方法

说明书

提供了一种针对数据记录执行机器学习的分布式系统及其方法，所述系统包括：多个计算装置，其中，每个计算装置针对各自的数据记录来执行同样的关于机器学习的数据流式计算；参数服务器，用于维护机器学习模型的参数，其中，在执行训练机器学习模型的数据流式计算时，计算装置利用从参数服务器获取的参数来针对各自的数据记录执行同样的关于机器学习模型训练的运算，参数服务器根据计算装置的运算结果来更新所述参数；并且/或者，在执行利用机器学习模型进行预估的数据流式计算时，计算装置利用从参数服务器获取的参数来针对各自的数据记录执行同样的关于机器学习模型预估的运算。由此，可实现计算装置之间的同质化，减少网络传输开销。

技术领域

本发明的示例性实施例总体说来涉及人工智能领域，更具体地说，涉及一种针对数据记录执行机器学习的分布式系统以及利用所述分布式系统来针对数据记录执行机器学习的方法。

背景技术

随着数据规模的迅速增长，机器学习被广泛应用于各种领域以挖掘数据的价值。然而，为了执行机器学习，一般物理机的内存已经远远不足，为此，实践中往往需要利用分布式机器学习平台来完成机器学习模型的训练或相应的预估。

在现有的分布式机器学习系统中(例如，谷歌的深度学习框架TensorFlow中)，通常存在一个或多个控制节点，这些控制节点负责调度系统中的其他计算节点的任务和计算资源，其中，每个计算节点会执行一部分计算任务，也就是说，各个计算节点之间执行的计算任务并不相同。相应地，就整个计算任务而言，相邻步骤可能会需要在不同的物理机器上执行，这就需要网络传输来使数据在各个计算节点和/或控制节点之间流动，此种方式将导致巨大的读写开销，而高速网卡(例如，万兆网卡)的成本高昂，并不能被广泛应用于分布式机器学习系统中。

进一步地，在上述分布式机器学习系统中，如果想要实现基于某个机器学习算法的多配置运行或多次运行，或者，如果想要同时运行多个机器学习算法，则需要对算法的内部进行修改，或者实现外部逻辑的多次调用，这两种方式都将耗费较大的实际计算量。

发明内容

本发明的示例性实施例旨在克服现有的分布式机器学习系统在执行机器学习时网络开销和运算量较大的缺陷。

根据本发明的示例性实施例，提供一种用于针对数据记录执行机器学习的分布式系统，包括：多个计算装置，其中，每个计算装置被配置为针对各自的数据记录来执行同样的关于机器学习的数据流式计算；参数服务器，用于维护机器学习模型的参数，其中，在执行训练机器学习模型的数据流式计算时，计算装置利用从参数服务器获取的参数来针对各自的数据记录执行同样的关于机器学习模型训练的运算，并且，参数服务器根据计算装置的运算结果来更新所述参数；并且/或者，在执行利用机器学习模型进行预估的数据流式计算时，计算装置利用从参数服务器获取的参数来针对各自的数据记录执行同样的关于机器学习模型预估的运算。

可选地，在所述分布式系统中，所述参数服务器具有分布式结构，其中，在所述分布式结构下，每一部分参数服务器与相应的计算装置集成为一体。

可选地，在所述分布式系统中，在执行训练机器学习模型的数据流式计算时，针对数据记录的每一轮迭代来进行灾备。

可选地，在所述分布式系统中，所述数据流式计算表示为至少一个由处理步骤组成的有向无环图。

可选地，在所述分布式系统中，计算装置通过合并不同有向无环图中相同的处理步骤来执行数据流式计算。

可选地，在所述分布式系统中，参数服务器按照键值对来保存机器学习模型的参数，并且，具有相同键的键值对被保存为单个键对应于多个值的形式。