[发明专利]模型训练方法和装置、电子设备及机器可读存储介质

说明书

本发明公开了一种模型训练方法，其包括：执行以下循环过程，直至满足循环结束条件：从服务端设备接收当前全局共享模型的全局共享模型参数；根据全局共享模型参数、本地数据及当前全局共享模型得到本地更新模型；将本地更新模型的模型更新综合参数发送给服务端设备；其中，多个客户端设备的模型更新综合参数被服务端设备所使用，以更新当前全局共享模型，并且在未满足所述循环结束条件时，更新后的全局共享模型的全局共享模型参数充当下一循环过程中的当前全局共享模型的全局共享模型参数。本发明还公开了一种模型训练装置、电子设备和机器可读存储介质。本发明的模型训练的方式能够提高服务端设备更新得到的模型的准确率。

技术领域

本发明属于机器学习技术领域，具体地讲，涉及一种模型训练方法、模型训练装置、电子设备及机器可读存储介质。

背景技术

目前，企业中基于机器学习的方法建立起来的模型，均是由各企业根据自身所采集到的数据独立训练出来的，而这些企业所采集的数据是彼此独立而不共享的。因此，所训练得到的模型因训练数据不充足，从而在遭遇攻击(尤其是新型的攻击)时难以获得优质且可靠的结果。

联邦学习机制可以在保护数据隐私的前提下通过使用不同企业的数据作为训练数据而进行模型训练。然而，在现有的联邦学习机制下，各企业利用各自的数据训练得到本地模型，并且将本地模型的参数发送给服务端设备；服务端设备在利用各企业发送的本地模型的参数进行模型更新时，无论本地模型的优劣，各企业发送的本地模型的参数在服务端设备使用过程中均占相同的权重，这样服务端设备更新得到的模型在使用过程中模型的准确率将被大大降低。

发明内容

为了解决上述现有技术存在的技术问题，本发明提供了一种能够提高模型准确率的模型训练方法和模型训练装置。

根据本发明的实施例的一方面提供的模型训练方法由客户端设备执行，所述模型训练方法包括：执行以下循环过程，直至满足循环结束条件：

从服务端设备接收当前全局共享模型的全局共享模型参数；其中，所述当前全局共享模型由所述服务端设备产生；使用所述全局共享模型参数对上一循环过程中训练得到的本地更新模型进行更新，以得到当前本地模型；使用本地数据作为训练数据对所述当前本地模型进行训练，以得到本循环过程中的本地更新模型；根据本循环过程中的所述本地更新模型的更新模型参数、所述客户端设备的本地数据量以及所述全局共享模型参数获取到本循环过程中的所述本地更新模型的模型重要程度参数；其中，所述更新模型参数和所述模型重要程度参数组成本循环过程中的所述本地更新模型的模型更新综合参数；将获取到的所述模型更新综合参数发送给所述服务端设备；

其中，多个所述客户端设备的所述模型更新综合参数被所述服务端设备所使用，以更新所述当前全局共享模型；

其中，在未满足所述循环结束条件时，更新后的全局共享模型的全局共享模型参数充当下一循环过程中的当前全局共享模型的全局共享模型参数。

在上述一方面提供的模型训练方法的一个示例中，所述根据本循环过程中的所述本地更新模型的更新模型参数、所述客户端设备的本地数据量以及所述全局共享模型参数获取到本循环过程中的所述本地更新模型的模型重要程度参数，具体包括：利用所述更新模型参数和本循环过程中的所述全局共享模型参数计算出所述更新模型参数和本循环过程中的所述全局共享模型参数之间的相似性参数；根据所述相似性参数计算出用于加快模型收敛速度的注意力分数；根据所述注意力分数和所述客户端设备的本地数据量计算出所述模型重要程度参数。

在上述一方面提供的模型训练方法的一个示例中，所述当前本地模型、所述本地更新模型以及所述当前全局共享模型均为神经网络模型，并且所述当前本地模型、所述本地更新模型以及所述当前全局共享模型的层数均相同。

在上述一方面提供的模型训练方法的一个示例中，利用所述更新模型参数和本循环过程中的所述全局共享模型参数，并根据下面的式子1计算出所述更新模型参数和本循环过程中的所述全局共享模型参数之间的相似性参数，