[发明专利]面向智慧城市物联网信物融合的联邦学习系统及联邦学习训练方法

说明书

本发明公开了一种面向智慧城市物联网信物融合的联邦学习系统，包括设备端和服务端；所述设备端包括MQTT、训练线程、心跳发送线程；所述服务端包括MQTT、模型聚合线程、任务调度线程、心跳监测线程。本发明还提供了基于上述联邦学习系统的联邦学习训练方法，包括：服务器初始化全局模型，在一个通信回合中，服务器选择一定比例的设备，并向被选择的设备发送全局模型；设备接收到消息后，对模型执行训练并更新；将更新的模型重新上传到服务器并进行聚合，得到新的全局模型，进入下一个通信回合；完成预设的通信回合数后，设备接收服务器下发的最新的全局模型并保存供后续使用。本发明具备一定的设备可扩展性、鲁棒性和高效性。

技术领域

本发明属于物联网通信技术、深度学习算法、联邦学习算法以及物联网场景下的信物融合技术领域，涉及利用物联网通信技术实现多个设备客户端与服务器互联，搭建通讯接口进行联邦学习模型传输，开展智慧城市物联网场景下多方设备参与的联邦学习，实现信物融合的联邦学习系统和联邦学习训练方法。

背景技术

随着移动技术的进步，物联网、智能移动电话等边缘设备取得了高速发展，成为现代生活中不可或缺的一部分。这些设备具备一定的计算和通信能力，并正在产生海量有价值的数据。而随着深度学习(DL)的兴起，可以有效地利用这些数据训练一个高性能的模型，用于执行特定的任务，如道路拥堵预测和环境监测等。然而，在传统方法中，充分利用这些数据需要向数据中心收集数据进行集中式的深度学习训练，这在实践中是难以实现的。因为在实践中，数据通常分散在不同的方(例如移动设备和公司)，由于日益严重的隐私问题和数据保护法规，各方不能将其私有数据发送到集中式服务器来训练模型，因此传统集中式的深度学习方法这在实践中是不现实的。

为了上述解决数据隐私保护的问题，联邦学习(FL)方法被提出。联邦学习是一种分布式的深度学习框架，它允许各设备在不共享数据的前提下，协同地学习一个适用于各参与设备的全局模型，并保护了设备的数据隐私。联邦平均(FedAvg)算法是目前采用最为广泛的联邦学习框架，它在每一轮中选择一部分客户端参与训练，被选定的客户端在本地执行多个更新回合并上传至服务器，经过服务器同步后进行聚合更新以获得全局模型，再由服务器发送回客户端。通过这种训练模式，联邦平均算法能够使得不同的设备端在本地训练自己的数据集，并将自己的模型参数上传至云服务端进行聚合，从而得一个包含更多知识的全局模型，保护了个人数据的隐私，并避免了沉重的通信成本，同时也保障了模型的收敛性。

智慧城市场景下的物联网系统，如智慧交通，智慧驾驶等，非常适合开展联邦学习应用，因为它们的数据由海量的分布式设备收集，如车载传感器，路口监测摄像头等，出于数据隐私保护考虑，通常难以将它们集中到一起，因此联邦学习成为了智慧城市物联网场景下开展深度学习非常有前途的解决方案。利用不同设备的本地数据开展联邦学习，得到能够适用于各设备数据的全局模型。在得到训练好的联邦学习全局模型之后，将它们部署在设备端或者云端，进行特定的任务预测，并根据模型预测结果，执行或者下发不同的控制指令，实现信息物理融合。

对于联邦学习这种分布式的机器学习框架，如果想要再智慧城市物联网场景进行实际部署，网络通信技术是实现该框架不可或缺的一环，需要利用网络通信技术，来连接参与联邦学习的服务端和客户端，实现服务端与客户端之间的信息交互功能。这就要求搭建一个具有通信功能的联邦学习平台，能够让期望参与联邦学习的物联网设备和服务器更方便地接入到联邦学习系统中，并且该系统需要具备一定的可扩展性。