[发明专利]一种基于联邦学习与多任务学习的模型训练方法

说明书

本发明涉及一种基于联邦学习与多任务学习的模型训练方法，将目标神经网络中各个全连接层划为目标神经网络的后部模型，以及将其中剩余部分划为目标神经网络的前部模型；由参数服务器负责更新各目标神经网络的前部模型，交换网络中的各个工作节点终端共同负责各目标神经网络的后部模型，如此应用联邦学习框架针对目标神经网络进行训练，通过对几个任务同时训练共同或相关的网络层，使得多个任务互相促进训练准确性，提高了模型收敛速率与泛化能力，获得目标神经网络高效训练的同时，能够保证基础数据的私密性与安全性。

技术领域

本发明涉及一种基于联邦学习与多任务学习的模型训练方法，属于数据处理技术领域。

背景技术

在机器学习领域，数据的收集处理是一大难点，随着移动设备与人的关系越来越紧密，移动设备中存在了大量的有价值的、隐私的数据。传统的数据处理模式往往是服务提供商收集用户的数据到集中在服务器，再通过自身服务器进行清洗处理，但随着相关法律的不断完善，这种方式可能会存在法律风险。

为了能够有效、安全的利用用户的数据，人们提出了联邦学习的方法，联邦学习模型可以使用户不需要上传自身数据的前提下，只需要上传用户本地训练后的梯度，就能有有效利用用户的数据进行训练，共同训练出一个统一的模型，一定程度上保护了用户的隐私安全。例如：这种框架可以用于解决安卓手机终端用户在本地更新模型的问题，其设计目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。

但是目前的联邦学习由于要妥协带宽不均衡的现状，该架构由一台参数服务器与多台工作节点组成，同步通讯，每天只通过数次同步参数平均化进行同步更新迭代，更新频率低，在目前的联邦学习情况下，而且该架构存在慢节点等问题，整个系统训练效率的瓶颈，浪费了部分通讯资源不受限节点的带宽。这样又会导致更多的训练节点掉队，第二个是传统的联邦学习训练出一个模型去适配所有节点的数据，它并不是针对单个用户的最优解。第三个是有些任务的数据量较小不能得到准确、泛化性能好的模型，传统的联邦学习并没有针对多任务学习有所突破利用。

发明内容

本发明所要解决的技术问题是提供一种基于联邦学习与多任务学习的模型训练方法，针对目标神经网络进行前后划分，应用联邦学习框架获得模型高效训练的同时，能够保证基础数据的私密性与安全性。

本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于联邦学习与多任务学习的模型训练方法，用于同步实现针对至少一个目标神经网络的参数化训练，并且各个目标神经网络彼此之间具有相同结构的全连接层；基于参数服务器、以及各个工作节点终端，按如下步骤A至步骤C，同步实现各目标神经网络的参数化训练；

步骤A.分别针对各目标神经网络，将其中各个全连接层划为目标神经网络的后部模型，以及将其中剩余部分划为目标神经网络的前部模型，然后进入步骤B；

步骤B.参数服务器根据各个工作节点终端的参数属性，构建由满足预设参数要求的各个工作节点终端所组成的交换网络，由参数服务器负责各目标神经网络的前部模型，交换网络中的各个工作节点终端共同负责各目标神经网络的后部模型，然后进入步骤C；

步骤C.参数服务器与交换网络中的各个工作节点终端，根据各目标模型分别所对应的样本训练数据，应用多任务学习模式，针对各目标神经网络进行参数化训练，获得训练后的各个目标神经网络。

作为本发明的一种优选技术方案：所述步骤B中，参数服务器通过执行参数平均化进程与网络列表管理进程，实现所述交换网络的构建、以及参数服务器对各目标神经网络前部模型的负责、与交换网络中各个工作节点终端对各目标神经网络后部模型的负责。

作为本发明的一种优选技术方案：所述参数服务器按如下步骤I1至步骤I10，执行参数平均化进程；