[发明专利]基于分布式集群的数据处理方法、系统、设备及存储介质

权利要求书

1.一种基于分布式集群的数据处理方法，其特征在于，应用于分布式集群中的每一个终端设备中，且n个终端设备均与目标边缘域设备通信连接，n为正整数，所述基于分布式集群的数据处理方法包括：

获取1个批次的训练样本并进行自身的深度学习模型的训练，确定出所述深度学习模型的梯度数据；

根据所述深度学习模型的梯度数据，确定出所述梯度数据的一阶动量矩阵和二阶动量矩阵；

将所述一阶动量矩阵和所述二阶动量矩阵发送至所述目标边缘域设备，以使所述目标边缘域设备根据接收到的n个终端设备各自发送的数据，确定出n个一阶动量矩阵的平均值以及n个二阶动量矩阵的平均值，并基于确定出的n个一阶动量矩阵的平均值以及n个二阶动量矩阵的平均值确定出预设的一阶优化算法的动量参数比值矩阵；

在所述目标边缘域设备将所述动量参数比值矩阵进行矩阵压缩之后，接收所述目标边缘域设备发送的压缩后的矩阵并进行矩阵的大小恢复，并基于恢复结果，通过所述一阶优化算法，进行所述深度学习模型的参数更新，并返回执行所述获取1个批次的训练样本并进行自身的深度学习模型的训练的操作，直至模型训练结束；

将待识别数据输入至训练完成的所述深度学习模型，并得到所述待识别数据的识别结果；

在确定出所述梯度数据的一阶动量矩阵之后，还包括：

判断基于本批次的训练样本所确定出的一阶动量矩阵，与基于上一批次的训练样本所确定出的一阶动量矩阵之间的差值是否小于预设的第一数值；

如果是，则对基于本批次的训练样本所确定出的一阶动量矩阵进行保存，并且针对后续的各个训练批次，均使用所保存的所述一阶动量矩阵作为确定出的所述梯度数据的一阶动量矩阵。

2.根据权利要求1所述的基于分布式集群的数据处理方法，其特征在于，在确定出所述梯度数据的二阶动量矩阵之后，还包括：

判断基于本批次的训练样本所确定出的二阶动量矩阵，与基于上一批次的训练样本所确定出的二阶动量矩阵之间的差值是否小于预设的第二数值；

如果是，则对基于本批次的训练样本所确定出的二阶动量矩阵进行保存，并且针对后续的各个训练批次，均使用所保存的所述二阶动量矩阵作为确定出的所述梯度数据的二阶动量矩阵。

3.根据权利要求1所述的基于分布式集群的数据处理方法，其特征在于，在确定出所述梯度数据的一阶动量矩阵和二阶动量矩阵之后，还包括：

对一阶动量矩阵和二阶动量矩阵均进行偏置校正；

相应的，所述将所述一阶动量矩阵和所述二阶动量矩阵发送至所述目标边缘域设备，包括：

将进行了偏置校正之后的一阶动量矩阵和进行了偏置校正之后的二阶动量矩阵发送至所述目标边缘域设备。

4.根据权利要求1所述的基于分布式集群的数据处理方法，其特征在于，在确定出所述梯度数据的一阶动量矩阵和二阶动量矩阵之后，还包括：

对一阶动量矩阵进行cholesky分解；

相应的，将所述一阶动量矩阵发送至所述目标边缘域设备，包括：

将M或者M^T发送至所述目标边缘域设备以使所述目标边缘域设备根据接收的数据恢复出所述一阶动量矩阵；

其中，M表示的是对所述一阶动量矩阵进行cholesky分解之后所得到的三角矩阵，M^T表示的是三角矩阵M的转置矩阵。