[发明专利]一种面向不稳定场景下联邦学习的方法和系统

说明书

本发明提供一种面向不稳定场景下联邦学习的方法和系统。该方法包括：步骤1：根据训练本地模型所要求的数据量、计算能力和网络带宽确定抽样策略；步骤2：按照抽样策略选择M个边缘节点，并进行预训练；步骤3：服务器初始化全局模型；步骤4：当故障节点列表不为空时，从中选择顶级节点并将其加入参与训练的边缘节点中；步骤5：边缘节点根据本地数据和接收的全局模型进行本地训练，得到新的本地模型，并上传至服务器；步骤6：在设定的时间段内，服务器若接收到边缘节点的本地模型，则将器其合至全局模型中；反之，则将未返回本地模型的边缘节点添加至故障节点列表；步骤7：重复步骤4至步骤6，直至达到结束条件后，输出此时的全局模型。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种面向不稳定场景下联邦学习的方法和系统。

背景技术

随着人工智能、无线通信和物联网的快速发展，语音识别、自动驾驶、智慧医疗等智能应用在日常生活和工业场景中都得到了广泛引用。传统集中式机器学习方法将用户数据传输到云服务器上进行集中式训练，会造成无法容忍的通信成本和延时，并且用户数据在传输过程终会有隐私泄露问题。

联邦学习则可以避免隐私泄漏。联邦学习是一种训练范式，使不同的边缘节点能够在不共享各自数据的情况下联合学习一个全局模型。然而，在联邦学习中，边缘节点通常是大量具有不同计算和通信能力的移动或物联网设备，由于其边缘节点数量庞大且制式各异，边缘节点之间的计算能力、通信条件、边缘节点上的数据样本数量等系统资源具有极大的异构性，这种异构性称为系统异构性。系统异构性会导致联邦学习过程的同一轮次中出现较大的训练时间差异，即训练吞吐量通常受到计算能力较低或通信速度较慢的边缘节点的限制。亦或者训练过程中如果有边缘节点通信不稳定，也会导致训练结果变差。甚至，如果参与训练的边缘节点中存在多个通信不稳定的节点，将会导致模型不收敛。

发明内容

针对由于边缘节点通信不稳定而造成联邦学习过程中模型训练效果较差的问题，本发明提供一种面向不稳定场景下联邦学习的方法和系统。

一方面，本发明提供一种面向不稳定场景下联邦学习的方法，包括：

步骤1：根据训练本地模型所要求的数据量、计算能力和网络带宽确定抽样策略；

步骤2：按照抽样策略从所有备选边缘节点中选择M个边缘节点，并对选中的边缘节点进行预训练；M＝所有备选边缘节点的70％；

步骤3：服务器初始化全局模型；

步骤4：当故障节点列表不为空时，从故障节点列表中选择顶级节点并将其加入参与训练的M个边缘节点中；所述顶级节点是指最先添加至故障节点列表中的边缘节点；

步骤5：边缘节点根据本地数据和接收的全局模型进行本地训练，得到新的本地模型，并将本地模型上传至服务器；

步骤6：在设定的时间段内，服务器若接收到边缘节点的本地模型，则将该本地模型聚合至全局模型中；反之，则将未返回本地模型的边缘节点添加至故障节点列表；

步骤7：重复步骤4至步骤6，直至达到结束条件后，输出此时的全局模型。

进一步地，步骤1中，按照公式(1)确定抽样策略S：

其中，α为训练模型的大小，κ为训练模型所要求的内存大小，N为训练模型所要求的网络带宽，C为训练模型所要求的计算能力，D为训练模型所要求的数据量。

进一步地，步骤2中的预训练具体包括：

步骤2.1：服务器初始化全局模型w_p，将所述全局模型w_p发送至选中的M个边缘节点；