[发明专利]基于分布式集群的数据处理方法、系统、设备及存储介质

说明书

本申请公开了一种基于分布式集群的数据处理方法、系统、设备及存储介质，应用于机器学习技术领域，包括：获取1个批次的训练样本并进行自身的深度学习模型的训练，确定出深度学习模型的梯度数据的一阶和二阶动量矩阵并发送至目标边缘域设备，以使目标边缘域设备根据接收的n个终端设备各自发送的数据确定出动量参数比值矩阵并进行矩阵压缩，接收压缩后的矩阵并进行矩阵的大小恢复，并基于恢复结果，通过一阶优化算法，进行深度学习模型的参数更新，并返回训练直至模型训练结束；将待识别数据输入至训练完成的深度学习模型，并得到待识别数据的识别结果。应用本申请的方案，提高了深度学习模型分布式训练的收敛速度，也降低了训练耗时。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种基于分布式集群的数据处理方法、系统、设备及存储介质。

背景技术

目前，人工智能正与5G、云计算、边缘计算等新一代信息技术互为支撑，推动生产生活方式和社会治理方式的智能化变革，而伴随而来的是人工智能落地场景日趋复杂化，融合云边端设备的跨域分布式人工智能占比越来越高。

深度学习模型的应用极为广泛，例如手机中的植物物种识别，语音识别并转换为文字等。部署在终端设备中的深度学习模型初期训练所需算力较为庞大，单个终端设备计算能力不足，并且单个终端设备所拥有的训练数据不足，因此，最常见的一种解决方案是联合边缘域内所有的终端设备实现分布式训练，共同更新模型参数，最终完成深度学习模型训练。

传统的跨域分布式优化算法，通常采用的是SGD（Stochastic Gradient Descent，随机梯度下降）算法，是一种简单但非常有效的方法，但是该算法收敛速度较慢。

此外，用边缘域设备进行协同模型训练时，面临数据传输带宽受限，通信传输负载重的问题，不利于实现高效的训练。

综上所述，如何进行深度学习模型的分布式训练，提高收敛速度，提高训练速度，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明的目的是提供一种基于分布式集群的数据处理方法、系统、设备及存储介质，以进行深度学习模型的分布式训练，提高收敛速度，提高训练速度。

为解决上述技术问题，本发明提供如下技术方案：

一种基于分布式集群的数据处理方法，应用于分布式集群中的每一个终端设备中，且n个终端设备均与目标边缘域设备通信连接，n为正整数，所述基于分布式集群的数据处理方法包括：

获取1个批次的训练样本并进行自身的深度学习模型的训练，确定出所述深度学习模型的梯度数据；

根据所述深度学习模型的梯度数据，确定出所述梯度数据的一阶动量矩阵和二阶动量矩阵；

将所述一阶动量矩阵和所述二阶动量矩阵发送至所述目标边缘域设备，以使所述目标边缘域设备根据接收到的n个终端设备各自发送的数据，确定出n个一阶动量矩阵的平均值以及n个二阶动量矩阵的平均值，并基于确定出的n个一阶动量矩阵的平均值以及n个二阶动量矩阵的平均值确定出预设的一阶优化算法的动量参数比值矩阵；

在所述目标边缘域设备将所述动量参数比值矩阵进行矩阵压缩之后，接收所述目标边缘域设备发送的压缩后的矩阵并进行矩阵的大小恢复，并基于恢复结果，通过所述一阶优化算法，进行所述深度学习模型的参数更新，并返回执行所述获取1个批次的训练样本并进行自身的深度学习模型的训练的操作，直至模型训练结束；

将待识别数据输入至训练完成的所述深度学习模型，并得到所述待识别数据的识别结果。

优选的，在确定出所述梯度数据的一阶动量矩阵之后，还包括：

判断基于本批次的训练样本所确定出的一阶动量矩阵，与基于上一批次的训练样本所确定出的一阶动量矩阵之间的差值是否小于预设的第一数值；