[发明专利]用于执行机器学习的分布式系统及其方法

权利要求书

1.一种用于执行机器学习的分布式系统，包括：

参数服务器，用于维护多个机器学习模型的参数，其中，所述参数具有键值对的形式；以及

多个计算装置，被配置为并行地执行关于所述多个机器学习模型的算法，其中，所述算法为关于机器学习模型的训练算法或关于机器学习模型的预估算法，

其中，所述参数服务器将计算装置为了执行关于机器学习模型的训练算法而需要读取的参数提供给所述计算装置，以使所述计算装置利用读取的参数来执行所述训练算法，并且，所述参数服务器根据所述计算装置执行所述训练算法的结果来更新所述机器学习模型的参数；并且/或者，所述参数服务器将计算装置为了执行关于机器学习模型的预估算法而需要读取的参数提供给所述计算装置，以使所述计算装置利用读取的参数来执行所述预估算法，

其中，所述参数服务器包括至少一个服务器端和多个客户端，其中，客户端与计算装置一一对应，并且，对应的客户端和计算装置集成为一体，其中，所述至少一个服务器端用于保存所述多个机器学习模型的参数；每个客户端用于与一个或多个服务器端之间传送关于至少一个机器学习模型的算法所涉及的参数的参数操作指令，其中，与所述每个客户端对应的计算装置被配置为执行关于所述至少一个机器学习模型的算法，

其中，在所述参数操作指令中，相同键被压缩和/或合并。

2.根据权利要求1所述的分布式系统，其中，服务器端、客户端与计算装置一一对应，并且，对应的服务器端、客户端和计算装置集成为一体。

3.根据权利要求1所述的分布式系统，其中，所述每个客户端从对应的计算装置接收关于所述至少一个机器学习模型的算法所涉及的参数的参数操作请求，针对保存所述参数的一个或多个服务器端分别生成与所述参数操作请求相应的参数操作指令，并将生成的参数操作指令分别传送到所述一个或多个服务器端。

4.根据权利要求3所述的分布式系统，其中，所述每个客户端从所述一个或多个服务器端接收与所述参数的参数操作结果相应的参数操作指令，基于接收到的参数操作指令生成与所述参数操作请求之中的每一个对应的参数操作结果，并将生成的参数操作结果传送到对应的计算装置。

5.根据权利要求1所述的分布式系统，其中，所述至少一个服务器端按照单个键对应于多个值的形式来保存具有相同键的多个键值对。

6.根据权利要求1所述的分布式系统，其中，客户端与对应的计算装置之间针对每个算法，采用单独的句柄来进行交互。

7.根据权利要求3所述的分布式系统，其中，所述参数操作请求包括拉取操作请求和/或推送操作请求。

8.根据权利要求1所述的分布式系统，其中，相同键通过分桶方式或排序方式被合并。