[发明专利]基于数字水印技术的去中心化联邦学习训练行为监督方法

说明书

本发明属于联邦学习技术领域，具体涉及一种基于数字水印技术的去中心化联邦学习训练行为监督方法。本发明包括任务发布者初始化全局模型，并准备若干水印数据集，向选定的工人节点发送初始全局模型以及水印数据集；工人节点将本地数据集以及水印数据集拼接之后进行本地训练，完成水印的嵌入过程；任务发布者对数字水印进行验证，根据数字水印的完成情况，标识工人节点的训练诚实度。本发明针对去中心化联邦学习体系结构中工人节点伪造训练结果而影响模型训练整体精度的问题，通过拓展数字水印的应用场景，将每个工人节点的训练行为量化、可视化，从而达成促使工人节点在训练行为上保持诚实的目的，为去中心化的联邦学习系统提供可信的算力支持。

技术领域

本发明属于联邦学习技术领域，具体涉及一种基于数字水印技术的去中心化联邦学习训练行为监督方法。

背景技术

近年来，随着物联网、边缘计算、人工智能等技术的快速发展，越来越多的智能终端设备接入互联网，产生了海量的终端数据。海量数据在为人工智能技术发展提供坚实基础的同时，也使得面向智能终端的隐私保护与针对海量数据的处理技术面临更加严峻的威胁和挑战。虽然联邦学习通过其“数据不动，模型动”的独特优势为上述问题提供了一个可行方案。但是，当前的联邦学习应用系统大多由业务方或设备所有方建立，存在接入规模受限、数据扩展困难、系统建设成本高等问题，导致大量的数据需求方与数据所有方之间无法有效对接，限制数据价值的发挥。因此出现了去中心化的联邦学习系统结构，该结构体系中，数据的需求方与数据的拥有方形成1对N或者N对N的关系，使得需求双方的对接不再受制于平台限制，去中心化联邦学习虽然为需求对接实现带来了极大的便利，但是其同样失去了统一的运营服务以及监管便利。工人节点作为去中心化联邦学习体系结构中训练行为的执行者，其保持行为的诚实是该体系结构稳定运行的关键，任何在模型训练中的不良行为都将将限制该体系结构的发展。

发明内容

本发明的目的在于提供一种基于数字水印技术的去中心化联邦学习训练行为监督方法。

一种基于数字水印技术的去中心化联邦学习训练行为监督方法，包括以下步骤：

1)任务发布者初始化全局模型，并准备若干水印数据集，向选定的工人节点发送初始全局模型以及水印数据集；水印数据集的构建思路为在与训练数据无关的图像中添加固定的模式，并为其添加一个来自实际任务的标签；

2)工人节点将本地数据集以及水印数据集拼接之后进行本地训练，完成水印的嵌入过程；

3)任务发布者对数字水印进行验证，该验证结果标识了工人节点的训练行为；

4)多次执行步骤2)与步骤3)，在一次联邦学习的过程中持续量化工人节点的训练行为；

5)根据数字水印的完成情况，标识工人节点的训练诚实度；

6)全局模型的性能达到指定要求，联邦学习过程完成，工人节点的训练行为监督完成。

进一步地，所述步骤2)中水印的嵌入借助深度神经网络的内在学习能力进行，嵌入过程具体为：

2.1)工人训练行为真实性评估；

使用任务发布者下发的数字水印数据集对所有局部模型进行校验，测试该局部模型在上的准确性，具体将进行两个维度的检查，检查结果将作为工人训练行为评价的主要依据，用于任务发布者对是否继续选择该工人进行后续的训练任务的决策；

2.2)水印任务的准确性评估；

使用水印数据集对聚合后的新全局模型进行检测，用于判断是否需要进行水印模型的替换；在必要时进行水印数据集的替换，保证工人节点的训练行为被完整、持续的量化；

2.3)任务发布者将工人们返回的训练结果进行聚合，得到新的全局模型M_G(t+1)；