[发明专利]一种基于核心数据集的联邦学习通信量优化方法及系统

摘要

本发明涉及联邦机器学习领域，公开了一种基于核心数据集的联邦学习通信量优化方法及系统。本发明中，首先，每个终端用户并行地从本地训练数据中筛选出核心数据，云中心根据设置的稀疏化比例构建稀疏化的全局模型，每个终端用户根据其筛选出的本地核心数据进行本地模型训练，得到本地模型更新。然后，为了全局模型更加适应本地核心数据，云中心根据聚集本地模型更新得到的全局模型更新，对全局模型的网络结构进行调整，其中包括移除不重要的连接和添加重要连接两个步骤。最后，云中心分发调整之后的全局模型给每个终端用户，迭代以上步骤，直至全局模型收敛。本发明通过从终端用户筛选核心数据，部署适配的稀疏化网络模型，减少了终端用户与云中心模型参数的上传，从本质上解决了联邦学习技术中，终端用户与云中心频繁传递高维更新参数所导致的高通信代价问题。