[发明专利]加快联邦学习系统及同步隐藏、稀疏卷积层构建和学习方法

权利要求书

1.一种加快联邦学习系统，其特征在于：所述的系统包括多个数据源、同步隐藏层模块、前馈神经层模块，所述多个数据源与所述同步隐藏层模块建立联接，所述同步隐藏层模块与所述前馈神经层模块建立联接；

所述的多个数据源通过不同的数据源信道向所述的同步隐藏层模块输出数据；

所述的同步隐藏层模块针对不同的数据源信道设置不同的隐藏概率并随着时间的变化而变化，同一时间段按相同所有的数据源信道内的数据按同一个隐藏阈值隐藏数据、不同时间段随机设置隐藏阈值并且不同数据源之间相互不通信，所述的同步隐藏层模块将非隐藏数据输入所述前馈神经层模块处理。

2.一种加快联邦学习系统，其特征在于：所述的系统包括多个数据源、同稀疏卷积层模块；

所述的多个数据源通过不同的数据源信道向所述的稀疏卷积层模块输出数据；

所述的稀疏卷积层模块包括第一同步隐藏层模块、前馈神经层模块、第二同步隐藏层模块，所述第一同步隐藏层模块、前馈神经层模块、第二同步隐藏层模块依次联接；所述的第一同步隐藏层模块和/或所述的第二同步隐藏模块针对不同的数据源信道设置不同的隐藏概率并随着时间的变化而变化，同一时间段按相同所有的数据源信道内的数据按同一个隐藏阈值隐藏数据、不同时间段随机设置隐藏阈值并且不同数据源之间相互不通信。

3.根据权利要求2所述的一种加快联邦学习系统，其特征在于：所述第一同步隐藏层模块输入端通过输入稀疏与所述前馈神经层模块连接和/或所述第二同步隐藏层模块输出端通过输出稀疏与所述前馈神经层模块连接。

4.一种运用于加快联邦学习系统的同步隐藏层构建方法，其特征在于：所述的同步隐藏层构建方法包括隐藏概率选择、训练；

所述的隐藏概率选择，对于所有数据源c∈C，服务端为所有数据源随机提供隐藏概率,p_c∈[0,1]N，每个元素表示信道神经元n∈N在数据源c∈C的持续隐藏概率，使用来表示在第l层中对应的隐藏概率；

所述的训练，对于第l层中所有的数据源信道依次表示为n-1、n-2…n-n，都是从U(0,1)隐藏阈值均匀分布中抽样得到，其中在相同时间段、使用相同的随机数在不同数据源信道(即数据源信道n-1、数据源信道n-2…数据源信道n-n)之间进行共享，如果则对应的数据源信道就从数据源c的神经网络模型中被隐藏，即将该数据源信道值设置为零。

5.根据权利要求4所述的一种运用于加快联邦学习系统的同步隐藏层构建方法，其特征在于：在所述的训练中，数据源信道值按比例进行缩小，对于每个数据源c，第l个同步隐藏层计算输入x^[l]：

公式中，1[z]是指示函数，当条件z满足时等于1，否则等于0，*指元素的乘积，符号z*-1代表z元素的逆。