[发明专利]神经网络的分布式学习和/或其参数化更新的传输的概念

说明书

本申请涉及提高分布式学习的效率的几个方面。

技术领域

本申请涉及神经网络的分布式学习(诸如联邦学习或数据并行学习)，以及可以在其中使用的概念，诸如参数化更新的传输的概念。

背景技术

在最常见的机器学习场景中，假设甚至要求将对其训练算法的所有数据收集并定位在中央节点中。然而，在许多真实世界的应用中，数据在例如loT或移动应用中的几个节点之中进行分布，这意味着只能通过这些节点访问数据。即假设不能在单个中央节点中收集数据。这可能例如是由于效率原因和/或隐私原因。因此，修改机器学习算法的训练并使机器学习算法的训练适应这种分布式场景。

分布式深度学习领域涉及在这样的分布式学习环境中训练神经网络的问题。原则上，训练通常分为两个阶段。一是在每个节点处在本地数据上训练神经网络，二是节点彼此共享训练进度的通信回合。该过程可以循环重复。最后一步是必不可少的，因为它将在每个节点处所做的学习合并到神经网络中，最终允许其在整个分布式数据集中进行概括。

变得直接清楚的是，分布式学习在将计算负荷分散到几个实体上时以必须将数据传送到各个节点或客户端以及传送来自各个节点或客户端的数据为代价。因此，为了实现效率的学习场景，需要将通信开销保持在合理的量。如果使用有损编码进行通信，则应小心编码损失因为它可能会减慢学习进度，并因此增加必要的循环以实现神经网络参数化的收敛状态。

发明内容

因此，本发明的目的是提供分布式学习的概念，其使分布式学习更加高效。此目的通过本申请的独立权利要求的主题实现。

本申请涉及提高分布式学习的效率的几个方面。根据第一方面，通过使用有损编码来上传由各个节点或客户端使用至少部分地单独收集的训练数据获得的参数化更新，改善了例如特定类型的分布式学习场景(即联邦学习)。具体地，执行累加参数化更新，该累加参数化更新对应于一方面当前循环的参数化更新的累加、以及另一方面关于先前循环的参数化更新的信息的上传的编码损失。本申请的发明人发现，即使在联邦学习(其中至少部分地由相应客户端或节点单独收集训练数据，即在各个客户端/节点上不均匀分布训练数据的数量和训练数据的种类的情形、以及各个客户端在没有更集中地合并其训练结果的情况下通常并行执行训练的情形)的情况下，对参数化更新上传的编码损失进行累加以便将其累加到当前参数化更新上，可增加编码效率。累加提供了例如在相等的学习收敛速率下的编码损失的增加，反之亦然，在相等的通信开销下为参数化更新提供了增加的学习收敛速率。

根据本申请的另一方面，通过在每个循环中下载将客户端的参数化更新合并而生成的合并参数化更新来进行将关于参数化设置的信息下载到各个客户端/节点，以及额外地通过使用累加合并参数化更新的有损编码来进行合并参数化更新的此下载，使得分布式学习场景(无论是联邦学习类型还是数据并行学习类型)更加高效。即为了通知客户当前循环中的参数化设置，下载前一循环的合并参数化设置更新。为此，对累加合并参数化更新进行有损编码，该累加合并参数化更新对应于一方面所述前一循环的合并参数化更新的累加、以及另一方面在所述前一循环之前的循环的合并参数化更新的下载的编码损失。本发明的发明人已经发现，即使是用于为各个客户端/节点提供各个训练的起点的下行链路路径，也可能为提高分布式学习环境中的学习效率提供了可能。通过提供获知先前下载的编码损失的合并参数化更新下载，可以例如以相同或几乎相同的学习收敛速率减少下载数据量，反之亦然，可以使用相同的下载开销增加学习收敛速率。