[发明专利]一种隐私保护的神经网络多方协作无损训练方法及系统

权利要求书

1.一种信息安全数据处理终端，其特征在于，所述信息安全数据处理终端用于实现一种隐私保护的神经网络多方协作无损训练方法，所述隐私保护的神经网络多方协作无损训练方法包括：

系统初始化，可信中心生成并分发系统参数、参与方私钥和聚合服务器私钥，聚合服务器生成神经网络模型和训练中的超参数；所述系统初始化具体包括：

(1)可信中心接收来自参与方的参与训练请求，生成参与方列表列表中的每一个参与方表示为P_i，i＝1,2,...,n'；

(2)可信中心选择安全参数κ和参与方门限t，tn'，其中K表示系统达到的安全等级，t表示完成模型训练所需的最小参与方个数；

(3)可信中心生成并分发系统所需的公共参数和密钥：

1)可信中心生成Paillier密码系统的参数，包括密钥λ和公共参数(g，N)；

2)可信中心选择大素数p′并计算h＝g^p′mod N²；

3)可信中心发布公共参数PP＝κ，t，S，g，h，N，其中S表示列表的大小；

4)可信中心向聚合服务器发送聚合服务器私钥SK＝λ，p′；

5)可信中心选择t-1个随机数构造多项式f(x)＝a₁·x+a₂·x²+…+a_t-1·x^t-1mod p；

6)可信中心对于所有计算并发送给相应的P_i；

(4)聚合服务器生成并公布模型训练所需的参数：

1)聚合服务器随机生成全局神经网络模型参数W_g＝{W₀，W₁，...，W_h}；

2)聚合服务器选择模型扰动的参数和其中N_p表示神经元裁剪的个数，N_s表示神经元打乱的次数；

3)聚合服务器选择模型训练的超参数，包括学习率α和本地训练次数E；

(5)系统初始化完成后，可信中心保持离线状态，参与方和聚合服务器共同执行以下模型训练流程直到模型达到收敛；

模型扰动和分发，聚合服务器对全局模型参数进行裁剪和打乱，并下发扰动后的模型；所述所述模型扰动和分发具体包括：

(1)对于全局模型的第l层l＝1,…,h，聚合服务器计算两两神经元对之间的距离，构成距离矩阵ζ并迭代地裁剪个神经元：

1)聚合服务器找到矩阵ζ中的最小值，它的坐标记作(m，n)；

2)聚合服务器将第n个神经元删除并将其融合到第m个神经元上，具体包括：删除矩阵W_l的第n列，通过公式更新矩阵W_l+1的第m行，以及删除矩阵W_l+1的第n行；

3)聚合服务器通过删除ζ的第m行和第m列，以及重新计算ζ的第n列，更新距离矩阵ζ；

(2)对于全局模型的第l层l＝1,…,h，聚合服务器进行次随机神经元打乱为打乱顺序的记录：

1)聚合服务器随机生成一对值(i，j)并记录到中；

2)聚合服务器交换矩阵W_l的第i₀列和第j₀列，交换矩阵W_l+1的第i₀行和第j₀行；

3)聚合服务器将扰动后的全局模型参数分发给中的每一个参与方P_i，并将训练完成列表置为空集，等待各参与方完成训练；

本地训练和加密，参与方用本地数据对收到的模型参数进行随机梯度下降训练，获得本地更新，并使用参与方私钥对本地更新进行加密后上传给聚合服务器；所述本地训练和加密具体包括：

(1)中的参与方P_i在本地数据集上执行E轮mini-batch随机梯度下降训练，学习率为α，得到本地更新ω_i，并在完成训练后发送完成信号给聚合服务器；

(2)聚合服务器将收到的完成信号对应的参与方P_i加入到训练完成列表中；

(3)聚合服务器在不再收到训练完成信号后，保证中的元素个数应大于t个，然后向计算并发送对应的加密参数γ_i：

(4)收到加密参数γ_i的参与方P_i对向聚合服务器加密并发送本地更新

安全聚合和模型恢复，聚合服务器对收到的各密文本地更新进行聚合、聚合服务器私钥解密，得到聚合更新，并通过模型恢复得到新的全局模型参数；所述安全聚合和模型恢复具体包括：

(1)聚合服务器对收到的密文本地更新进行聚合得到密文聚合更新

(2)聚合服务器对聚合结果进行解密得到明文聚合更新ω_g：

其中L(u)＝(u-1)/N；

(3)聚合服务器对明文聚合更新ω_g进行模型恢复，得到新的全局模型W_g：

1)聚合服务器对于ω_g的第l层l＝1,…,h，根据打乱顺序记录恢复ω_g中第l个矩阵和第l+1个矩阵的原始顺序；

2)聚合服务器根据裁剪次数向ω_g中第l个矩阵中插入个随机列，向ω_g中第l+1个矩阵中插入个随机行；

(4)聚合服务器用本轮完成训练的参与方列表替换列表以进行下一轮的训练。