[发明专利]中心方选择方法、存储介质和系统

说明书

本发明提供了一种合作式深度学习任务中的中心方选择方法、存储介质和系统，方案包括基于初始任期内各合作方性能评分值进行中心方初始选择用于深度学习模型聚合，在任务进行中基于当前任期网络中存活节点中性能评分值进行中心方更新选择并以更新的中心方继续模型聚合任务,这为学习方法或模型聚合提供了稳定的中心方，中心方异常情况下快速选取参与合作式学习任务中最优数据提供方为中心方，能快速衔接，以便模型训练过程可以继续运行，可广泛应用于经济、文化、教育、医疗、公共管理等行业。

技术领域

本发明涉及多方数据联合处理，具体涉及一种中心方选择方法、存储介质和系统。

背景技术

合作式深度学习是各合作方以集体为单位训练深度学习模型的过程。集体的表现优于各合作方。具体来说，针对物联网-IoT场景下各终端设备(合作方)的使用环境不同，本地数据特征不同，导致对于同一个深度学习任务的理解和认知会不一样。因此，针对IoT场景下的某个深度学习任务，为了提高深度学习模型的准确性和泛化性，各终端设备使用自己的本地数据训练得到深度学习模型，然后通过交互和共享进行模型聚合，最后经过多次迭代完成整个深度学习任务，得到一个表现良好的联合模型结果。

与联邦学习从隐私保护的角度出发不同，合作式深度学习主要是考虑到各终端设备(合作方)的使用环境不同，本地数据特征不同，导致对于同一个深度学习任务的理解和认知会不一样，因此为了提高深度学习任务的准确性和泛化性，需要各终端设备在使用本地数据训练得到深度学习模型，即获得本地知识后，将本地知识在群体内进行共享，通过对多个满足独立性要求的本地知识进行组合汇聚，获得群体智慧，从而学习得到一个表现良好的深度学习模型。

在合作式深度学习任务中，存在两种角色：中心方和客户端，其中，中心方承担着来自各个客户端的模型参数聚合任务，选择不同的设备作为中心方对合作式学习任务影响很大，比如具有不同性能的中心方运算能力不同、宕机概率不同，严重来说不合适的中心方会导致合作式学习任务无法进行。

因此，在任务的初始阶段，必须首先指定合适的中心方才能开始合作式深度学习任务；此外，在IoT场景下，中心方可能是资源有限的终端设备。因此相较于通常分布式计算指定的性能良好的中心方，IoT场景中的中心方发生异常的概率比较大。

在任务进行过程中，如果负责模型聚合任务的中心方发生异常情况，如宕机、失联等，此时合作式学习任务面临中断的危险情况，因此必须考虑重新指定新的合适的中心方继续执行模型聚合任务。

综上，在合作式学习任务中，如何在任务初始阶段选择合适的中心方，以及当在中心方异常时，系统如何重新指定合适的中心方是亟待解决的关键技术。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种中心方选择方法、存储介质和系统，其能解决上述问题。

一种合作式深度学习任务中的中心方选择方法，方法包括任务初始阶段的中心方初始选择和任务进行阶段的中心方更新选择，其中，基于初始任期内各合作方性能评分值进行中心方初始选择用于深度学习模型聚合，在任务进行中基于当前任期网络中存活节点中性能评分值进行中心方更新选择并以更新的中心方继续模型聚合任务。

优选的，任务初始阶段的中心方初始选择包括以下步骤：

S110合作式深度学习任务被发起，确定参与此次任务的合作方总数N，同时协商确定用于性能比较的度量指标及其对应权重；

S120各合作方对本地任期参数进行初始化：local_term＝0，同时利用步骤S110的度量指标和权重计算各自的性能评分值；

S130对网络全局参数进行初始化，包括全局任期：glob_term＝0，中心方标识：center＝0，节点序号：n＝0，系数：coef，时间窗口：time_interval；

S140各合作方先后加入网络，提供性能评分值，并记录本地的IP地址和端口号；