[发明专利]分布式数据处理方法、装置、计算机设备及存储介质

说明书

本申请是关于一种分布式数据处理方法、装置、计算机设备及存储介质，涉及人工智能技术领域。所述方法包括：向至少两个边缘节点设备发送全局模型参数；该全局模型参数是部署于中心节点设备的第一模型的参数；获取该至少两个边缘节点设备分别通过异步通信方式发送的稀疏梯度；基于梯度权重，以及该至少两个边缘节点设备分别发送的稀疏梯度，对该全局模型参数进行更新；该梯度权重用于指示该稀疏梯度对该全局模型参数进行更新时所占的比重。在基于云服务器的分布式数据处理场景中，上述方案能够在保证模型训练的准确性的同时，节约云服务器的带宽资源。

技术领域

本申请涉及人工智能技术领域，特别涉及一种分布式数据处理方法、装置、计算机设备及存储介质。

背景技术

随着人工智能的不断发展，以及用户隐私要求的不断提高，基于分布式系统的机器学习模型训练的应用也越来越广泛。

联邦学习是一种基于云技术的分布式系统的机器学习方式。在联邦学习架构中，包含中心节点设备和多个边缘节点设备，每个边缘节点设备在本地存储有各自的训练数据，且中心节点设备和各个边缘节点设备中都设置有模型架构相同的模型。在联邦学习过程中，各个边缘节点设备基于初始化的模型参数，对本地的模型进行训练，将训练得到的梯度数据上传至中心节点设备，由中心节点设备融合各个边缘节点设备的梯度数据来更新中心节点设备中的模型参数。

然而，上述各个边缘节点设备在联邦学习过程中，在相同的时间点上同步上传本地的梯度数据，这对分布式系统的带宽要求较高，同时由于各个边缘节点设备在集中上传的时间段之外，对分布式系统的带宽的利用率较低，导致分布式系统的带宽资源的浪费。

发明内容

本申请实施例提供了一种分布式数据处理方法、装置、计算机设备及存储介质，可以在保证模型训练的准确性的同时，提高通信传输效率，减小通信传输消耗的资源，该技术方案如下。

一方面，提供了一种分布式数据处理方法，所述方法由分布式系统中的中心节点设备执行，所述分布式系统中包含所述中心节点设备与至少两个边缘节点设备；所述方法包括：

向所述至少两个边缘节点设备发送全局模型参数；所述全局模型参数是部署于所述中心节点设备的第一模型的参数；

接收所述至少两个边缘节点设备分别通过异步通信方式发送的稀疏梯度；所述稀疏梯度是所述至少两个边缘节点设备对各自的边缘节点梯度进行稀疏化处理得到的；所述边缘节点梯度是对应的边缘节点设备基于所述全局模型参数对第二模型进行初始化后，通过对应边缘节点设备上的训练数据集对所述第二模型进行训练得到的梯度；

基于梯度权重，以及所述至少两个边缘节点设备分别发送的稀疏梯度，对所述全局模型参数进行更新；所述梯度权重用于指示所述稀疏梯度对所述全局模型参数进行更新时所占的比重。

一方面，提供了一种分布式数据处理方法，所述方法由分布式系统中的边缘节点设备执行，所述分布式系统中包含中心节点设备与所述至少两个边缘节点设备，所述方法包括：

接收所述中心节点设备发送的全局模型参数，所述全局模型参数是部署于所述中心节点设备的第一模型的参数；

基于所述全局模型参数对第二模型进行初始化；

通过所述边缘节点设备上的训练数据集对所述第二模型进行训练，获得边缘节点梯度；

对所述边缘节点梯度进行稀疏化处理，得到稀疏梯度；

通过异步通信方式向所述中心节点设备发送所述稀疏梯度，以便所述中心节点设备基于所述至少两个边缘节点设备分别发送的稀疏梯度以及梯度权重，更新所述全局模型参数；所述梯度权重用于指示所述稀疏梯度对所述全局模型参数的更新比重。

又一方面，提供了一种分布式数据处理装置，所述装置用于分布式系统中的中心节点设备，所述分布式系统中包含所述中心节点设备与至少两个边缘节点设备，所述装置包括：