[发明专利]基于神经网络和联邦学习的数据处理方法和系统

权利要求书

1.一种基于神经网络和联邦学习的数据处理方法，其特征在于，包括：

根据联合建模任务确定加密解密神经网络，所述加密解密神经网络包括M个加密神经网络和一个解密神经网络，M为参与联合建模的客户端的数量，M≥2；

根据随机生成的训练数据对所述加密解密神经网络进行训练直至所述加密解密神经网络收敛；

将M个训练好的加密神经网络发送至M个客户端，以使各客户端将拥有的本地数据以及联合建模任务的模型参数作为各个加密神经网络的输入数据，确定加密数据；

接收各个客户端加密神经网络输出的加密数据，将所述加密数据输入所述解密神经网络，确定所述模型参数的梯度更新数据。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述梯度更新数据对所述模型参数进行更新；

或者，

将所述梯度更新数据发送至M个客户端，以使各客户端根据所述梯度更新数据对所述模型参数进行更新。

3.如权利要求2所述的方法，其特征在于，所述根据所述梯度更新数据对所述模型参数进行更新包括：

若所述梯度更新数据的取值在预设区间内，则根据如下公式对模型参数进行更新：

w′＝w+γδw；

其中，w′表示更新后的模型参数，w表示更新前的模型参数，γ表示学习率，δw表示梯度更新数据。

4.如权利要求2所述的方法，其特征在于，所述方法还包括：

对所述模型参数进行迭代更新，直至收敛。

5.如权利要求1所述的方法，其特征在于，所述根据随机生成的训练数据对所述加密解密神经网络进行训练包括：

随机生成训练数据D＝{D₁，D₂，…，D_M}，D_i与第i个客户端中的本地数据具有相同的特征维度，1≤i≤M；

根据所述联合建模任务对所述训练数据D进行融合处理，并根据融合处理后的训练数据确定与之相对应的模型参数的梯度更新数据；

以D_i作为第i个加密神经网络的输入，以与训练数据D相对应的梯度更新数据作为解密神经网络的期望输出，以解密神经网络的实际输出与所述期望输出的均方根误差作为损失函数，对所述加密解密神经网络进行训练。

6.如权利要求5所述的方法，其特征在于，第i个加密神经网络输出数据的维度与第i个客户端中本地数据的维度之比小于预设值。

7.如权利要求1-6任一项所述的方法，其特征在于，所述加密神经网络为共享权值和全局池化的卷积神经网络。

8.一种基于神经网络和联邦学习的数据处理系统，其特征在于，包括：

服务器和M个客户端，M≥2；

所述服务器包括：

确定模块，用于根据联合建模任务确定加密解密神经网络，所述加密解密神经网络包括M个加密神经网络和一个解密神经网络；

训练模块，用于根据随机生成的训练数据对所述加密解密神经网络进行训练直至所述加密解密神经网络收敛；

发送模块，用于将M个训练好的加密神经网络发送至M个客户端；

更新模块，用于接收各个客户端加密神经网络输出的加密数据，将所述加密数据输入所述解密神经网络，确定所述模型参数的梯度更新数据；

所述客户端包括：

接收模块，用于接收所述服务器发送的训练好的加密神经网络；

加密模块，用于将所述客户端拥有的本地数据以及联合建模任务的模型参数作为加密神经网络的输入数据，确定加密数据；

发送模块，用于将所述加密数据发送至所述服务器。

9.一种服务器，其特征在于，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-7任一项所述的基于神经网络和联邦学习的数据处理方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-7任一项所述的基于神经网络和联邦学习的数据处理方法。