[发明专利]模型训练方法和装置、电子设备及机器可读存储介质

权利要求书

1.一种模型训练方法，其特征在于，所述模型训练方法由客户端设备执行，所述模型训练方法包括：

执行以下循环过程，直至满足循环结束条件：

从服务端设备接收当前全局共享模型的全局共享模型参数；其中，所述当前全局共享模型由所述服务端设备产生；

使用所述全局共享模型参数对上一循环过程中训练得到的本地更新模型进行更新，以得到当前本地模型；

使用本地数据作为训练数据对所述当前本地模型进行训练，以得到本循环过程中的本地更新模型，所述本地数据包括图像数据、语音数据和文本数据中的至少一种；

根据本循环过程中的所述本地更新模型的更新模型参数、所述客户端设备的本地数据量以及所述全局共享模型参数获取到本循环过程中的所述本地更新模型的模型重要程度参数；其中，所述更新模型参数和所述模型重要程度参数组成本循环过程中的所述本地更新模型的模型更新综合参数；

将获取到的所述模型更新综合参数发送给所述服务端设备；其中，多个所述客户端设备的所述模型更新综合参数被所述服务端设备所使用，以更新所述当前全局共享模型；

其中，在未满足所述循环结束条件时，更新后的全局共享模型的全局共享模型参数充当下一循环过程中的当前全局共享模型的全局共享模型参数；

其中，所述根据本循环过程中的所述本地更新模型的更新模型参数、所述客户端设备的本地数据量以及所述全局共享模型参数获取到本循环过程中的所述本地更新模型的模型重要程度参数，具体包括：

利用所述更新模型参数和本循环过程中的所述全局共享模型参数计算出所述更新模型参数和本循环过程中的所述全局共享模型参数之间的相似性参数；

根据所述相似性参数计算出用于加快模型收敛速度的注意力分数；

根据所述注意力分数和所述客户端设备的本地数据量计算出所述模型重要程度参数；

其中，利用所述更新模型参数和本循环过程中的所述全局共享模型参数，并根据下面的式子1计算出所述更新模型参数和本循环过程中的所述全局共享模型参数之间的相似性参数，

[1]

在所述式子1中，w^l表示本循环过程中的所述当前全局共享模型的第l层的所述全局共享模型参数，表示第i个所述客户端设备的本循环过程中的所述本地更新模型的第l层的所述更新模型参数，表示本循环过程中的所述当前全局共享模型的第l层和第i个所述客户端设备的本循环过程中的所述本地更新模型的第l层的相似性参数；

和/或，根据所述相似性参数，并利用下面的式子2计算出所述注意力分数，

[2]

在所述式子2中，表示第i个所述客户端设备的本循环过程中的所述本地更新模型的第l层的注意力分数，K表示所有的所述客户端设备的数量；

和/或，根据所述注意力分数和所述客户端设备的本地数据量，并利用下面的式子3和式子4计算出所述模型重要程度参数，

[3]

[4]

在所述式子3和式子4中，n_i表示第i个所述客户端设备的本地数据量，N表示所有的所述客户端设备的本地数据量的总数据量，表示第i个所述客户端设备的本循环过程中的所述本地更新模型的第l层的模型重要程度参数，β_i表示第i个所述客户端设备的本循环过程中的所述本地更新模型的模型重要程度参数。

2.根据权利要求1所述的模型训练方法，其特征在于，所述当前本地模型、所述本地更新模型以及所述当前全局共享模型均为神经网络模型，并且所述当前本地模型、所述本地更新模型以及所述当前全局共享模型的层数均相同。

3.根据权利要求1所述的模型训练方法，其特征在于，所述循环结束条件包括：

达到预定循环次数；或者

更新上一循环过程中的本地更新模型而得到的当前本地模型被判定为无需训练的客户端设备的数量达到指定阈值。