[发明专利]一种模型训练方法及装置

说明书

本申请公开了一种模型训练方法，应用于人工智能领域，包括：向第一设备发送第一子模型；其中，所述第一子模型为对待训练模型进行压缩得到的；接收所述第一设备发送的第一梯度，所述第一梯度为所述第一设备训练所述第一子模型时得到的；至少基于所述第一梯度，对所述待训练模型进行模型训练，以得到更新后的待训练模型。本申请中服务器将待训练模型进行压缩后下发至终端设备，使得终端设备不需要训练和服务器同等规模的大模型。

技术领域

本申请涉及人工智能领域，尤其涉及一种模型训练方法及装置。

背景技术

人工智能(artificial intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

联合学习(federated learning)系统基于从大量用户与其设备(例如，智能电话等)交互生成的数据来训练机器学习模型，而不需要从设备中取出数据。例如，每个循环都选择在线设备的子集，并且机器学习模型的当前版本被发送到那些选定的设备。那些选定的设备中的每一个被赋予使用它们自己本地生成并本地存储的数据来计算模型的更新的任务。然后，模型更新被发送回服务器、进行平均、并应用于服务器的模型，以便为用户的下一次迭代(例如，设备的下一个子集)产生模型的新版本。

联邦学习分为模型下发和模型上传两个步骤，中心节点将模型通过网络下发至终端设备；各终端设备利用本地数据计算模型的梯度；各分布式节点将梯度加密后上传至中心节点；中心节点汇总各终端分布式节点的梯度，并采用参数平均算法更新中心节点模型的参数。

现有的联邦学习技术要求中心节点和各分布式节点的模型同构，但是在一些场景中，终端设备如手机等等因为数据处理能力的限制，无法运算与中心节点同等规模的大模型。

发明内容

第一方面，本申请提供了一种模型训练方法，所述方法包括：

向第一设备发送第一子模型；其中，所述第一子模型为对待训练模型进行压缩得到的；

接收所述第一设备发送的第一梯度，所述第一梯度为所述第一设备训练所述第一子模型时得到的；

至少基于所述第一梯度，对所述待训练模型进行模型训练，以得到更新后的待训练模型。

本申请实施例提供了一种模型训练方法，包括：向第一设备发送第一子模型；其中，所述第一子模型为对待训练模型进行压缩得到的；接收所述第一设备发送的第一梯度，所述第一梯度为所述第一设备训练所述第一子模型时得到的；至少基于所述第一梯度，对所述待训练模型进行模型训练，以得到更新后的待训练模型。通过上述方式，服务器将待训练模型进行压缩后下发至终端设备，使得终端设备不需要训练和服务器同等规模的大模型。

在一种可能的实现中，存储所述第一子模型所需的存储资源小于存储所述待训练模型所需的存储资源。

在一种可能的实现中，运行所述第一子模型时所需的计算资源小于运行所述待训练模型时所需的计算资源。

在一种可能的实现中，所述计算资源至少包括如下的一种：内存资源、显存资源或CPU资源。

在一种可能的实现中，所述第一子模型为对待训练模型进行如下至少一种处理方式得到的：剪枝、知识蒸馏或量化。

在一种可能的实现中，所述至少基于所述第一梯度，对所述待训练模型进行模型训练，包括：

基于所述第一梯度，对所述第一子模型进行训练，得到更新后的第一子模型；