[发明专利]加快联邦学习系统及同步隐藏、稀疏卷积层构建和学习方法

说明书

本申请涉及加快联邦学习系统及同步隐藏、稀疏卷积层构建和学习方法。所述的系统包括多个数据源、同步隐藏层模块、前馈神经层模块,或多个数据源、同稀疏卷积层模块：同步隐藏层构建方法包括隐藏概率选择、训练；稀疏卷积层构建方法包括假设、培训，加快联邦学习的方法，其特征在于：所述的学习方法包括数据输入、不同数据源的轨迹相似度分析、稀疏卷积层处理、数据输出。本申请的优点是，根据数据隐私和数据安全需求并结合联邦学习的特点，提出多个数据源存放在本地，并通过使各数据源通过一个协议，使得各个数据源可以联合起来建立一个联邦模型，通过交换一些模型的参数信息，让联邦模型不断成长优化。

技术领域

本发明涉及一种联邦学习系统及方法，特别涉及一种加快联邦学习的系统、同步隐藏层和稀疏卷积层构建方法及学习方法。

背景技术

近年来，随着GPU的快速发展及大数据时代的来临，深度学习算法已席卷人工智能各个领域，包括了语音识别、图像理解、自然语言处理等在内的广泛领域。不仅如此，这些深度学习算法在复杂的系统中也得到了广泛使用，如自动驾驶、癌症检测、复杂游戏的策略搜索等。深度学习算法在很多识别任务中已大大超越了人类识别的准确率，同时突破了传统的人工智能算法，带来的巨大的性能提升。这些性能的提升是因为深度学习算法拥有对大数据高层特征提取的能力，从而获得对输入空间或数据的有效表示。由此见，深度学习算法的性能离不开模型训练对于大量数据的需要。

在许多应用领域，深度学习算法模型在实际运用过程中碰到更多的都是相互独立小数据集，形成数据孤岛。比如医疗图像分析、法律案例、金融反洗钱等。举例来说金融领域的信贷风控、市场营销，都需要大量的数据训练，大额贷款风控的案例又非常少。要是来做深度学习模型，只用少量这种大额贷款的样本是远远不够的。对于医疗图像，非常好的标注的医疗图像也非常少。所以我们可以发现这样一个现象，周边更多的是小数据，但AI算法模型恰恰需要使用大数据，这就产生了矛盾。

在社会层面，人们对于数据隐私和数据安全的意识越来越强，政府的监管和相关法律法规越来越严。欧洲首先推出来的法规叫GDPR。它有各种条款，最重要的一条是要保护隐私的数据，保证隐私权在用户自己手中。自从它2018年推出来以后，已经有不少的大公司被罚款，比如Facebook和Google。在美国加州，也有相应法规CCPA生效。在国内，2017年开始实施的《中华人民共和国网络安全法》同样对个人数据的收集、处理提出了严格的要求。

联邦学习的客户端在保护个人数据隐私的条件下，进行深度学习模型的协同训练。由于客户端并不拥有相同的数据分布，即数据异构，他们在参数更新的方向上存在较大分歧，导致最优模型的收敛周期变长且具有更高的计算和通信成本。

联邦学习的最新进展集中在减少数据传输的通信量上，他们忽视了在联邦学习过程中的计算成本。随着现代5G基础设施逐渐完善，800MB大小的数据，传输时长只需要十几秒钟，但800M大小的深度学习算法模型，则需要几个小时的训练。所以在联邦学习中，降低深度学习算法模型的训练、推理的计算量成了一个我们不得不去考虑的现实问题。

发明内容

本发明根据数据隐私和数据安全需求并结合联邦学习的特点，提出多个数据源存放在本地，并通过使各数据源通过一个协议，使得各个数据源可以联合起来建立一个联邦模型，通过交换一些模型的参数信息，让联邦模型不断成长优化的加快联邦学习系统及同步隐藏、稀疏卷积层构建和学习方法。

本发明提供一种加快联邦学习的系统包括多个数据源、同步隐藏层模块、前馈神经层模块，所述多个数据源与所述同步隐藏层模块建立联接，所述同步隐藏层模块与所述前馈神经层模块建立联接；

所述的多个数据源通过不同的数据源信道向所述的同步隐藏层模块输出数据；

所述的同步隐藏层模块针对不同的数据源信道设置不同的隐藏概率并随着时间的变化而变化，同一时间段按相同所有的数据源信道内的数据按同一个隐藏阈值隐藏数据、不同时间段随机设置隐藏阈值并且不同数据源之间相互不通信，所述的同步隐藏层模块将非隐藏数据输入所述前馈神经层模块处理。