[发明专利]神经网络的分布式学习和/或其参数化更新的传输的概念

权利要求书

1.一种用于在循环(30)中由客户端(14)进行神经网络(16)的联邦学习的方法，所述方法包括，在每个循环中

将关于所述神经网络(16)的参数化(18)的设置的信息下载(32)到预定客户端(14)，

所述预定客户端(14)，

使用至少部分地由相应客户端单独收集的训练数据(D_i)更新(34)所述神经网络(16)的参数化(18)的设置，以获得参数化更新(ΔW_i)，以及

上传(36)关于所述参数化更新的信息，

将所述参数化更新与其他客户端(14)的另外的参数化更新合并(38)，以获得合并参数化更新，所述合并参数化更新定义用于后续循环的参数化的另外的设置，

其中，上传(36)关于所述参数化更新的所述信息包括累加参数化更新(62)的有损编码(36'；56)，所述累加参数化更新(62)对应于一方面当前循环的参数化更新(50)的第一累加(58)、以及另一方面关于先前循环的参数化更新的信息的上传的编码损失(69)。

2.根据权利要求1所述的方法，

在当前循环中下载(32)关于所述神经网络(16)的参数化(18)的设置的信息包括，通过累加合并参数化更新(62)的有损编码(32'；56)，下载前一循环的合并参数化更新，所述累加合并参数化更新(62)对应于一方面所述前一循环的合并参数化更新(50)的第二累加(58)、以及另一方面在所述前一循环之前的循环的合并参数化更新的先前下载的编码损失(69)。

3.根据权利要求1或2所述的方法，

其中，所述客户端(14)彼此独立地收集训练数据。

4.根据权利要求1至3中任一项所述的方法，其中，所述有损编码包括

确定所述参数化的经编码的参数集合，

将标识所述经编码的参数集合的标识信息(146)编码作为关于所述参数化更新的信息，并且将一个或多个值(164)编码作为针对所述经编码的参数集合的累加参数化更新的编码表示(66)，其中所述编码损失(69)等于

针对所述经编码的集合以外的参数的累加参数化更新(62)，或者

针对所述经编码的集合以外的参数的累加参数化更新(62)、以及针对所述经编码的参数集合的累加参数化更新(62)与编码表示(66)之间的差。

5.根据权利要求4所述的方法，其中，

将针对所述经编码的参数集合的累加参数化更新的平均值(144)编码作为所述一个或多个值，以便表示所述经编码的参数集合内的所有参数。

6.一种用于在循环(30)中进行神经网络(16)的联邦学习的系统，所述系统包括服务器(12)和客户端(14)，并且配置为，在每个循环中

将关于所述神经网络(16)的参数化(18)的设置的信息从所述服务器(12)下载(32)到预定客户端(14)，

所述预定客户端(14)，

使用至少部分地由相应客户端单独收集的训练数据(D_i)更新(34)所述神经网络(16)的参数化(18)的设置，以获得参数化更新(ΔW_i)，以及

上传(36)关于所述参数化更新的信息，

由所述服务器(12)将所述参数化更新与其他客户端(14)的另外的参数化更新合并(38)，以获得合并参数化更新，所述合并参数化更新定义用于后续循环的参数化的另外的设置，

其中，关于所述参数化更新的所述信息的所述上传(36)一方面包括与当前循环的参数化更新(50)的第一累加(58)对应的累加参数化更新(62)的有损编码(36'；56)，并且另一方面包括关于先前循环的参数化更新的信息的上传的编码损失(69)。

上传(36)关于所述参数化更新的所述信息包括累加参数化更新(62)的有损编码(36'；56)，所述累加参数化更新(62)对应于一方面当前循环的参数化更新(50)的第一累加(58)、以及另一方面关于先前循环的参数化更新的信息的上传的编码损失(69)。