[发明专利]一种数据调整方法及装置

说明书

本申请提供一种数据调整方法及装置，获取第一工作服务器的第一处理能力信息和第二工作服务器的第二处理能力信息；基于第一处理能力信息和第二处理能力信息，获得第一工作服务器的第一样本批量数和第二工作服务器的第二样本批量数；接收第一工作服务器上传的第一梯度和第二工作服务器上传的第二梯度；基于第一梯度和第二梯度，得到共用梯度；发送共用梯度至第一工作服务器和第二工作服务器，以更新第一工作服务器和第二工作服务器中模型的梯度。由此参考不同工作服务器的处理能力得到的样本批量数可以使不同工作服务器根据各自的样本批量数进行相同时长的模型训练，得到各自的梯度，最终得到共用梯度，减少模型训练时间和节约计算资源。

技术领域

本申请属于分布式处理技术领域，尤其涉及一种数据调整方法及装置。

背景技术

目前分布式环境下使用同步SGD(Stochastic gradient descent，随机梯度下降)算法训练数据时，位于分布式环境中的每个工作服务器使用同一个mini-batch size(样本批量数，表示每次迭代的样本数)并行计算梯度，每个工作服务器将各自计算出的梯度发送至参数服务器中，由参数服务器基于每个工作服务器的梯度得到应用到深度学习模型中的梯度，参数服务器将应用到深度学习模型中的梯度发送给每个工作服务器之后，每个工作服务器开始新一轮的梯度计算。

由于每个工作服务器上传梯度到参数服务器的上传速度不同，参数服务器需要在接收到上传速度快的工作服务器的梯度之后等待上传速度慢的工作服务器的梯度，在这一过程中，上传速度快的工作服务器也需要等待上传速度慢的工作服务器，从而拖慢训练时间以及浪费计算资源。

发明内容

有鉴于此，本申请的目的在于提供一种数据调整方法及装置，用于减少模型训练时间和节省计算资源。

本申请提供一种数据调整方法，应用于参数服务器中，所述方法包括：

获取第一工作服务器的第一处理能力信息和第二工作服务器的第二处理能力信息，所述第一处理能力信息和所述第二处理能力信息不同；

基于所述第一处理能力信息和所述第二处理能力信息，获得所述第一工作服务器对应的第一样本批量数和所述第二工作服务器对应的第二样本批量数；

接收所述第一工作服务器上传的第一梯度和所述第二工作服务器上传的第二梯度，所述第一梯度和所述第二梯度由所述第一工作服务器和所述第二工作服务器基于各自对应的样本批量数进行相同时长的模型训练得到；

基于所述第一梯度和所述第二梯度，得到共用梯度；

发送所述共用梯度至所述第一工作服务器和所述第二工作服务器，以更新所述第一工作服务器和所述第二工作服务器中模型的梯度。

优选的，所述基于所述第一处理能力信息和所述第二处理能力信息，获得所述第一工作服务器对应的第一样本批量数和所述第二工作服务器对应的第二样本批量数包括：

基于所述第一处理能力信息和所述第二处理能力信息，增大所述第一工作服务器和所述第二工作服务器其中一个工作服务器对应的样本批量数，减小另一个工作服务器对应的样本批量数。

优选的，所述基于所述第一处理能力信息和所述第二处理能力信息，获得所述第一工作服务器对应的第一样本批量数和所述第二工作服务器对应的第二样本批量数包括：

基于所述第一处理能力信息和所述第二处理能力信息，获得所述第一工作服务器对应的第一权重和所述第二工作服务器对应的第二权重；

基于所述第一权重和所述第二权重，获得所述第一工作服务器对应的第一样本批量数和所述第二工作服务器对应的第二样本批量数。

优选的，所述基于所述第一权重和所述第二权重，获得所述第一工作服务器对应的第一样本批量数和所述第二工作服务器对应的第二样本批量数包括：