[发明专利]执行机器学习的分布式系统及其方法

权利要求书

1.一种执行机器学习的分布式系统，包括：

多个计算装置，其中，每个计算装置被配置为针对各自的数据记录来执行关于机器学习模型的数据流式计算，其中，所述数据流式计算表示为一个或多个由处理步骤组成的有向无环图，每个有向无环图对应于单个机器学习模型，不同有向无环图对应于一种机器学习算法流程的多配置运算或多种机器学习算法流程；

参数存储器，用于维护机器学习模型的参数；

其中，在执行训练机器学习模型的数据流式计算时，计算装置利用从参数存储器获取的参数来针对各自的数据记录执行关于机器学习模型训练的运算，并且，参数存储器根据计算装置的运算结果来更新所述参数；并且/或者，在执行利用机器学习模型进行预估的数据流式计算时，计算装置利用从参数存储器获取的参数来针对各自的数据记录执行关于机器学习模型预估的运算；

其中，所述参数存储器具有分布式参数服务器结构，对应于每个计算装置，存在相应的部分参数服务器；计算装置通过合并不同有向无环图中相同的处理步骤来执行数据流式计算；参数存储器按照键值对的形式来保存机器学习模型的参数；针对模型的多套配置或针对多个模型的具有相同键的键值对，采用一个键对应多个值的形式来保存相应的参数。

2.如权利要求1所述的分布式系统，其中，在所述分布式参数服务器结构下，每一部分参数服务器与相应的计算装置集成为一体。

3.如权利要求1所述的分布式系统，其中，在执行训练机器学习模型的数据流式计算时，针对数据记录的每一轮迭代来进行灾备。

4.如权利要求1所述的分布式系统，其中，所述数据记录对应于机器学习模型的部分或全部参数。

5.如权利要求1所述的分布式系统，其中，所述参数存储器包括：接口装置、处理装置和参数存储装置；

接口装置，用于从计算装置接收请求获取参数的指令，向计算装置发送相应的参数；或者，用于从计算装置接收请求获取参数的指令，向计算装置发送相关的参数，以及从计算装置接收用于更新参数的运算结果以及相关的指令；

处理装置，用于分析来自计算装置的请求获取参数的指令，将相应的参数从参数存储装置提供给接口装置；或者，用于分析来自计算装置的请求获取参数的指令，将相应的参数从参数存储装置提供给接口装置，以及用于分析来自计算装置的用于更新参数的运算结果以及相关的指令，根据相应的参数更新方式来执行参数的更新，并将更新后的参数保存在参数存储装置中；

参数存储装置，用于保存机器学习模型的参数。

6.如权利要求1所述的分布式系统，其中，所述计算装置包括：接口单元和运算单元；

接口单元，用于向参数存储器发送请求获取参数的指令，并从参数存储器接收所请求的相应的参数；或者，用于向参数存储器发送请求获取参数的指令，并从参数存储器接收所请求的相应的参数，以及用于向参数存储器提供用于更新参数的运算结果以及相关的指令；

运算单元，用于利用机器学习模型的参数，针对数据记录来执行数据流式计算。