[发明专利]用于处理数据的方法、设备和计算机程序产品

说明书

本公开的实施例涉及用于处理数据的方法、设备和计算机程序产品。该方法包括在第一计算设备处，生成与机器学习模型的节点处理的数据块相关联的第一组梯度值，第一组梯度值具有第一数据格式。该方法还包括从第一组梯度值确定第一共享因子，第一共享因子具有第二数据格式，第二数据格式的精度低于第一数据格式。该方法还包括利用第一共享因子对第一组梯度值进行缩放，以得到具有第二数据格式的第二组梯度值。该方法还包括向第二计算设备发送第二组梯度值和第一共享因子。该方法还包括响应于接收到来自第二计算设备的第三组梯度值和第二共享因子，调整机器学习模型的参数。通过使用该方法，可以减少数据的传输量，提高计算网络模型的效率。

技术领域

本公开的实施例总体涉及数据处理，更具体地，涉及在机器学习模型中处理数据的方法、设备和计算机程序产品。

背景技术

目前，随着计算机技术的发展，越来越多的任务通过机器学习模型来处理。在机器学习模型中，一般先用样本数据对机器学习模型进行训练。在利用样本数据的训练机器模型时，通过调整机器学习模型的参数，来使得机器学习模型的训练结果收敛。然后再用训练好的模型来处理数据。

然而，随着机器学习模型的发展，需要将机器学习模型部署到不同的设备上以执行数据并行或模型并行。现在深度学习模型随着参数增多变得更加复杂。通过分布式深度学习可以减少模型训练时间。随着GPU集群规模的扩大，通过分布式GPU的并行计算，可以实现更高的训练速度。然而，在机器学习模型的并行执行过程中还存在着许多问题。

发明内容

本公开的实施例提供一种用于处理数据的方法、设备和计算机程序产品。

根据本公开的第一方面，提供了一种用于处理数据的方法。该方法包括在第一计算设备处，生成与机器学习模型的节点处理的数据块相关联的第一组梯度值，第一组梯度值具有第一数据格式。该方法还包括从第一组梯度值确定第一共享因子，第一共享因子具有第二数据格式，第二数据格式的精度低于第一数据格式。该方法还包括利用第一共享因子对第一组梯度值进行缩放，以得到具有第二数据格式的第二组梯度值。该方法还包括向第二计算设备发送第二组梯度值和第一共享因子。该方法还包括响应于接收到来自第二计算设备的第三组梯度值和第二共享因子，调整机器学习模型的参数。

根据本公开的第二方面，提供了一种用于处理数据的方法。该方法包括在第二计算设备处，从第一计算设备接收第二组梯度值和第一共享因子，第二组梯度值是利用第一共享因子对与机器学习模型的节点处理的数据块相关联的第一组梯度值进行缩放而得到的。该方法还包括获取第三设备的针对数据块的第四组梯度值和与第四组梯度值有关的第三共享因子，第三设备运行机器学习模型。该方法还包括基于第一共享因子、第二组梯度值、第四组梯度值和第三共享因子来确定第三组梯度值和针对第三组梯度值的第二共享因子。该方法还包括向第一计算设备发送第三组梯度值和第二共享因子以使得第一计算设备用于调整机器学习模型的参数。

根据本公开的第三方面，提供了一种用于处理数据的电子设备。该电子设备包括处理器；以及存储器，存储有计算机程序指令，处理器运行存储器中的计算机程序指令控制电子设备执行动作，动作包括：生成与机器学习模型的节点处理的数据块相关联的第一组梯度值，第一组梯度值具有第一数据格式；从第一组梯度值确定第一共享因子，第一共享因子具有第二数据格式，第二数据格式的精度低于第一数据格式；利用第一共享因子对第一组梯度值进行缩放，以得到具有第二数据格式的第二组梯度值；向第二计算设备发送第二组梯度值和第一共享因子；以及响应于接收到来自第二计算设备的第三组梯度值和第二共享因子，调整机器学习模型的参数。