[发明专利]一种无线通信场景下高通信效率的联邦学习方法

权利要求书

1.一种无线通信场景下高通信效率的联邦学习方法，其特征在于，该方法包括以下具体步骤：

S1、联邦学习框架的构建

首先对由服务器、设备、无线信道三者构成的联邦学习系统进行建模，并完成对模型训练任务的建模；随后确立用于完成模型训练任务的算法；接着对服务器和设备间的通信模型进行建模；最后将三者整合得到完整的联邦学习框架；

S2、通过二阶辅助函数以及向量分解的方式对步骤S1提出的联邦学习框架的训练过程进行收敛性分析；

S3、针对收敛性分析结果中每轮训练存在的误差项来构建最小化误差项的优化问题，并通过一种针对设备选择和波束赋形的联合优化方法来解决误差项的优化问题，以提升训练所得到的联邦学习框架模型的精确度。

2.根据权利要求1所述的无线通信场景下高通信效率的联邦学习方法，其特征在于，所述步骤S1具体包括：

S11、建立无线联邦学习系统的模型

将无线场景下所进行的联邦学习视作m个单天线设备与一个装有k根天线的服务器共同完成一个模型训练任务的过程；用和来分别表示整体的样本集合和设备集合；设备上存储着数据量大小均为s的本地数据集并有其中∪为集合并操作，u_i，j为特征向量，v_i，j为对应的标签，并通过z_i，j来表示(u_i，j，v_i，j)的元组；

接下来将模型训练的任务建模为最小化一个全局的损失函数；每个设备i本地的损失函数建模为其中

w∈R^d为模型的参数向量，∑为求和函数，函数f用于衡量模型参数的误差，γ为正则化参数，|·|表示集合大小，||·||为l₂范数；基于该本地损失函数，将全局损失函数建模为设备集里所有设备的本地损失函数的平均：

S12、确立用于完成模型训练任务的算法

将采用的算法描述为一个迭代的训练过程，并且第t轮迭代的具体过程如下；

1)设备选择：服务器决定参与本轮迭代的设备集，并将其记作

2)全局模型广播：服务器将当前的全局模型参数w_t广播给参与本轮训练的设备；

3)本地模型更新：在设备i接收到全局模型参数后，首先根据本地的损失函数计算得到本地梯度值其中f′()为一阶导数；随后进一步计算得到本地Hessian矩阵其中f″()为二阶导数，I_d为d维单位矩阵；最后根据本地梯度和本地Hessian矩阵计算得到本地Newton更新方向其中为二阶偏导，为一阶偏导；

4)模型聚合：参与本轮训练的设备将其本地Newton更新方向传输给服务器，服务器聚合平均后得到全局的更新方向其中为第t轮训练过程中所选择的设备集合；

5)全局模型更新：服务器通过全局更新方向进行对全局模型参数的更新其中α为学习率；

S13、建立S12中模型聚合过程中服务器与设备间的通信模型

首先将服务器与设备间的无线信道视作一个分块的衰落信道，其中每个时间块又被进一步分为d个时间槽来满足一个更新方向向量的传输；采用空中计算来实现模型聚合的过程，令所有设备同时传输其本地的更新方向，并通过无线信道的叠加特性在空中完成求和操作；

具体来说，将空中计算表示为nomographic函数的形式：其中p_t，i为设备i在该轮的本地牛顿更新方向，为服务器接受到的全局更新方向，和ψ为预处理和后处理函数，并分别对应于归一化和去归一化处理；

在传输前，首先将设备i的本地更新方向p_t，i归一化预处理为s_t，i：其中

随后将传输信号的每一项x_t，i[l]，l∈[1，d]表示为：x_t，i[l]＝b_t，is_t，i[l]，其中b_t，i∈R为传输能量控制因子；同时每个设备传输能量限制为其中表示任意，E()为取均值的操作，P₀为最大传输能量；

记h_t，i∈C^k为设备i与服务器之间的信道相关系数，将服务器端接收到的信号y_t∈C^k表示为其中e_t∈C^k为有着σ²大小能量的高斯白噪音向量，同时将信噪比(SNR)定义为P₀/σ²；

服务器接收到信号后，通过后处理操作得到一个估计值向量，其每一项表示为其中a_t∈C^k代表服务器接受端的波束成形向量，η_t为调节因子，()^H为共轭转置；记为信道系数矩阵，为能量传输矩阵，其中diag()表示对角矩阵，为信号传输矩阵，其中()^T为矩阵转置，E_t＝[e_t，1，...，e_t，d]为噪声矩阵，其中e_t，i为与e_t相同的高斯白噪音向量，据此将总的估计值向量r_t＝[r_t[1]，...，r_t[d]]化简为其中能量传输矩阵的每一项设置为以提升空中计算的准确度；将该能量传输矩阵的值代入总的估计值向量中得到r_t的一个进一步简化形式

最后，通过后处理函数ψ的去归一化操作，服务器得到一个无线场景下的全局更新方向其中为S12中模型聚合操作对本地更新方向平均后的结果；

S14、整合得到完整的联邦学习框架

将S11中的无线联邦学习系统模型，S12中针对无线联邦学习模型的训练算法，以及S13中针对训练过程中模型聚合操作的通信模型整合，得到完整的基于空中计算和二阶算法的联邦学习框架，该框架中第t轮训练迭代的过程如下：

服务器首先选择参与本轮迭代训练的设备并将其存为随后服务器将当前的模型参数向量w_t广播给参与本轮迭代的设备；接收到参数向量后，每个设备i首先计算得到本地梯度值随后计算得到本地Hessian矩阵并在这两项的基础上计算得到本地的牛顿更新方向接下来，每个设备i将该更新方向编码为其中并将传输信号x_t，i[l]＝b_t，is_t，i[l]，l∈[1，d]通过无线信道传输；服务器通过空中计算接受到参与训练的设备同时发送的信号聚合后的结果并通过一系列解码操作最终得到全局更新方向最后在服务器根据该全局更新方向完成本轮训练对全局模型参数的更新