[发明专利]一种数据处理方法及装置

权利要求书

1.一种数据处理方法，所述方法包括：

从消息队列中获取M个样本数据，M大于等于1，其中，M与工作节点自身的数据处理能力相关联；

分别对所述M个样本数据进行计算，得到针对训练模型的M个训练参数；

确定所述消息队列中的样本数据为空时，将所述M个训练参数向参数服务器发送。

2.根据权利要求1所述方法，所述方法还包括：

确定所述消息队列中的样本数据不为空时，利用所述M个训练参数在本地更新所述训练模型的模型参数，得到所述训练模型的M个本地模型参数。

3.根据权利要求2所述的方法，确定所述消息队列中的样本数据为空时，将所述M个训练参数向参数服务器发送，包括：

确定所述消息队列中的样本数据为空时，计算所述M个本地模型参数之和；

将所述M个本地模型参数之和作为训练参数向所述参数服务器发送。

4.根据权利要求1所述的方法，从消息队列中获取M个样本数据之前，所述方法还包括：

确定工作节点参数、样本数据参数和迭代更新参数；

根据所述工作节点参数、所述样本数据参数和所述迭代更新参数之间的乘积，配置所述消息队列的大小。

5.根据权利要求1所述的方法，从消息队列中获取M个样本数据，包括：

通过远程过程调用RPC接口获取所述消息队列中的M个样本数据。

6.一种数据处理装置，所述装置包括：

获取单元，用于从消息队列中获取M个样本数据，M大于等于1，其中，M与工作节点自身的数据处理能力相关联；

计算单元，用于分别对所述M个样本数据进行计算，得到针对训练模型的M个训练参数；

发送单元，用于确定所述消息队列中的样本数据为空时，将所述M个训练参数向参数服务器发送。

7.根据权利要求6所述的装置，所述装置还包括；

更新单元，用于确定所述消息队列中的样本数据不为空时，利用所述M个训练参数在本地更新所述训练模型的模型参数，得到所述训练模型的M个本地模型参数。

8.根据权利要求7所述的装置，所述计算单元，具体还用于计算所述M个本地模型参数之和；

所述发送单元，具体用于确定所述消息队列中的样本数据为空时，将所述M个本地模型参数之和作为训练参数向所述参数服务器发送。

9.根据权利要求6所述的装置，所述装置还包括：

确定单元，用于确定工作节点参数、样本数据参数和迭代更新参数；

配置单元，用于根据所述工作节点参数、所述样本数据参数和所述迭代更新参数之间的乘积，配置所述消息队列的大小。

10.一种数据处理装置，所述装置包括：存储器、处理器以及存储在存储器被处理器运动的可执行程序，其特征在于，所述处理器运行所述可执行程序时执行如权利要求1至5任一项所述的数据处理方法的步骤。