[发明专利]模型更新方法、工作节点及模型更新系统

说明书

本申请涉及人工智能(artificial intelligence，AI)领域的一种模型更新方法，可以为去中心化分布式AI系统提供灵活、高效的优化技术。该方法可以通过邻域内的工作节点的交互更新本地模型。本申请可以通过接收邻域的其它工作节点所传递的模型的至少一个参数、梯度以及模型的冲量中的一种或多种信息，结合本地的模型与数据进行模型更新。

技术领域

本申请涉及人工智能(artificial intelligence，AI)领域，主要涉及一种模型更新方法、工作节点及模型更新系统。

背景技术

机器学习系统是AI系统最重要的分支。分布式机器学习(distributed machinelearning，DML)系统是目前常用的处理大规模人工智能类应用任务的系统。传统分布式机器学习系统是中心化的系统，利用计算集群，通过对海量用户数据进行训练得到预测模型。具体地，中心节点调度各个工作节点计算损失函数关于模型的梯度；待计算完成后，让所有的工作节点将梯度上传中心节点；中心节点接收到上传的梯度后更新模型。在使用的过程中，用户需要向系统请求服务，系统根据中心节点训练好的模型针对用户的请求进行决策，再将决策的结果传给用户进行执行。整个过程依赖网络，且请求与响应存在网络时延。这样的中心化系统往往要求密集的计算资源，且海量的用户数据上传云侧存储，极易造成隐私安全问题。进一步地，联邦学习技术被提出，采用同态加密、差分隐私等方案解决用户隐私安全问题，使得用户无需共享原始数据，而只需共享模型以及模型相关信息即可隐式地利用群体用户的信息更新模型。但是现有的联邦学习技术仍然依赖中心节点。

发明内容

本申请实施例提供了一种模型更新方法、工作节点及模型更新系统，可以不依赖中心节点，为去中心化分布式AI系统提供灵活、高效的优化技术。

第一方面，本申请实施例提供了一种模型更新方法，包括：第一工作节点接收至少一个第二工作节点发送的第一信息；其中，上述至少一个第二工作节点为与上述第一工作节点属于同一子网络的工作节点；上述第一工作节点根据上述第一信息和上述第一工作节点存储的模型与数据对上述模型进行更新；其中，每个上述第一信息包括发送上述第一信息的第二工作节点的如下信息中的至少一项：模型的至少一个参数、梯度以及模型的冲量；上述第一工作节点存储的模型与上述至少一个第二工作节点存储的模型具有至少部分相同的模型结构。

可能地，第一工作节点或第二工作节点可以是任一智能终端设备，也可以是若干智能终端设备组成的虚拟节点。

本申请实施例中，第一工作节点存储的模型和第二工作节点存储的模型具有至少部分相同的模型结构，对于该部分相同的模型结构，第一工作节点可以通过与该第一工作节点属于同一邻域的第二工作节点发送的第一信息以及该第一工作节点保存的数据对模型进行更新。其中，第一信息可以包括发送该第一信息的第二工作节点的如下信息中的至少一项：模型的至少一个参数、梯度以及模型的冲量。与现有技术相比，本申请实施例提供的模型更新方法为去中心化的模型更新方法，即该方法可以不依赖于中心节点，第一工作节点通过利用与其所属同一子网络的一个或多个第二工作节点所传递的第二工作节点所对应的模型相关信息，来对第一工作节点上的模型进行更新。另外，该方法无需将用户数据上传至云端，只需通过第二工作节点的模型、梯度以及模型的冲量等参数进行第一工作节点的模型更新，可以保证用户的隐私安全。此外，每个工作节点都可以结合其保存的用户数据以及第一信息对第一工作节点的模型进行更新，根据其保存的用户数据进行模型更新可以为该工作节点定制个性化的模型，从而为用户提供更加精准的服务。此外，本申请中第一工作节点可以直接使用其保存的数据进行数据更新，无需等待其他工作节点的计算结果，计算速度快，时延小。

在一种可能的实现方式中，上述第一工作节点存储的模型与上述至少一个第二工作节点存储的模型具有相同的模型结构。