[发明专利]联邦学习模型训练方法和装置、电子设备、介质和产品

说明书

本公开提供了一种联邦学习模型训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品，涉及人工智能技术领域，尤其涉及深度学习、云计算领域。实现方案为：初始化梯度伸缩因子和该梯度伸缩因子的倒数；在联邦学习的至少一个神经网络模型反向传播开始之前，将反向传播的梯度值乘以该梯度伸缩因子以进行反向传播；以及在使用优化器将梯度值更新到神经网络模型对应的参数之前，将该梯度值乘以该梯度伸缩因子的倒数。

技术领域

本公开涉及人工智能技术领域，尤其涉及深度学习、云计算，具体涉及一种联邦学习模型训练方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

云计算(cloud computing)，指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作系统、网络、软件、应用和存储设备等，并可以以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。

近年来，机器学习技术得到飞速的发展，在信息识别、推荐引擎、金融信贷等领域都取得了出色的应用效果，大量实验结果证明机器学习模型有着良好的鲁棒性和泛化性。在通过推荐引擎进行广告业务的投放时，为丰富训练数据的多样性，人们希望能够融合多方企业间的数据进行推荐引擎的训练。因此，基于安全多方计算技术的联邦学习系统应运而生。由于推荐引擎所涉及的用户信息以及推荐内容的信息量巨大，为了提升计算性能，训练过程中所涉及的数据、参数和中间结果等，通常可以使用定点数表示法(fixed-point)。即，约定机器中所有数据的小数点位置是固定不变的，比如64位数据中，使用前48位表示整数部分、后16位表示小数部分。使用定点数表示法虽然可以提升模型训练过程中的计算性能，但是表示数据的范围和精度受限，甚至在梯度反向传播时，可能会产生梯度消失的现象，势必会影响模型训练的精度，进而影响推荐引擎的用户使用效果，无法满足广告商需求。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种提升联邦学习定点数训练精度的方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供了一种联邦学习模型训练方法，包括：初始化梯度伸缩因子和该梯度伸缩因子的倒数；在联邦学习的至少一个神经网络模型反向传播开始之前，将反向传播的梯度值乘以该梯度伸缩因子以进行反向传播；以及在使用优化器将梯度值更新到神经网络模型对应的参数之前，将该梯度值乘以该梯度伸缩因子的倒数。

根据本公开的另一方面，提供了一种联邦学习模型训练装置，包括：初始化单元，配置为初始化梯度伸缩因子和所述梯度伸缩因子的倒数；第一计算单元，配置为在联邦学习的至少一个神经网络模型反向传播开始之前，将所述反向传播的梯度值乘以所述梯度伸缩因子以进行反向传播；以及第二计算单元，配置为在使用优化器将所述梯度值更新到所述神经网络模型对应的参数之前，将所述梯度值乘以所述梯度伸缩因子的倒数。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行联邦学习模型训练方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行联邦学习模型训练方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现联邦学习模型训练方法。

根据本公开的一个或多个实施例，可以有效地缓解了联邦学习模型训练过程中的梯度消失/训练精度下降问题。