[发明专利]用于执行机器学习的分布式系统及其方法

说明书

提供一种用于执行机器学习的分布式系统及其方法。所述分布式系统包括：参数服务器，用于维护多个机器学习模型的参数，其中，所述参数具有键值对的形式，所述参数服务器按照单个键对应于多个值的形式来保存具有相同键的多个键值对；以及多个计算装置，被配置为并行地执行关于所述多个机器学习模型的算法，其中，所述参数服务器包括至少一个服务器端和多个客户端，其中，每个客户端用于与一个或多个服务器端之间传送关于至少一个机器学习模型的算法所涉及的参数的参数操作指令，其中，与所述每个客户端对应的计算装置被配置为执行关于所述至少一个机器学习模型的算法，其中，在所述参数操作指令中，相同键被压缩和/或合并。

技术领域

本发明的示例性实施例总体说来涉及人工智能领域，更具体地讲，涉及一种用于执行机器学习的分布式系统以及利用所述分布式系统来执行机器学习的方法。

背景技术

随着数据规模的迅速增长，机器学习被广泛应用于各种领域以挖掘数据的价值。然而，为了执行机器学习，一般物理机的内存已经远远不足，为此，实践中往往需要利用分布式机器学习系统来完成机器学习模型的训练或相应的预估。在现有的分布式机器学习系统中，通常由多个计算装置并行地执行关于同一机器学习模型的训练或预估，由参数服务器来存储该机器学习模型的参数，并支持各个计算装置对该机器学习模型的参数的读写。

参数服务器具有支持海量维度、高并发度、负载均衡等优点，但也存在内存占用大、运算量大、网络带宽占用大等缺点。通常一个参数服务器仅用于维护一个机器学习模型的参数，如果想要同时进行关于多个机器学习模型的训练和/或预估，则需要参数服务器维护多个机器学习模型的参数，那么网络开销也会呈线性增长。

发明内容

本发明的示例性实施例在于提供一种用于执行机器学习的分布式系统及其方法，以解决在同时进行关于多个机器学习模型的训练和/或预估时参数服务器的网络开销过大的问题。

根据本发明的示例性实施例，提供一种用于执行机器学习的分布式系统，包括：参数服务器，用于维护多个机器学习模型的参数，其中，所述参数具有键值对的形式；以及多个计算装置，被配置为并行地执行关于所述多个机器学习模型的算法，其中，所述算法为关于机器学习模型的训练算法或关于机器学习模型的预估算法，其中，所述参数服务器将计算装置为了执行关于机器学习模型的训练算法而需要读取的参数提供给所述计算装置，以使所述计算装置利用读取的参数来执行所述训练算法，并且，所述参数服务器根据所述计算装置执行所述训练算法的结果来更新所述机器学习模型的参数；并且/或者，所述参数服务器将计算装置为了执行关于机器学习模型的预估算法而需要读取的参数提供给所述计算装置，以使所述计算装置利用读取的参数来执行所述预估算法，其中，所述参数服务器包括至少一个服务器端和多个客户端，其中，客户端与计算装置一一对应，并且，对应的客户端和计算装置集成为一体，其中，所述至少一个服务器端用于保存所述多个机器学习模型的参数；每个客户端用于与一个或多个服务器端之间传送关于至少一个机器学习模型的算法所涉及的参数的参数操作指令，其中，与所述每个客户端对应的计算装置被配置为执行关于所述至少一个机器学习模型的算法，其中，在所述参数操作指令中，相同键被压缩和/或合并。

可选地，服务器端、客户端与计算装置一一对应，并且，对应的服务器端、客户端和计算装置集成为一体。

可选地，所述每个客户端从对应的计算装置接收关于所述至少一个机器学习模型的算法所涉及的参数的参数操作请求，针对保存所述参数的一个或多个服务器端分别生成与所述参数操作请求相应的参数操作指令，并将生成的参数操作指令分别传送到所述一个或多个服务器端。

可选地，所述每个客户端从所述一个或多个服务器端接收与所述参数的参数操作结果相应的参数操作指令，基于接收到的参数操作指令生成与所述参数操作请求之中的每一个对应的参数操作结果，并将生成的参数操作结果传送到对应的计算装置。

可选地，所述至少一个服务器端按照单个键对应于多个值的形式来保存具有相同键的多个键值对。