[发明专利]用于训练模型的方法、装置和系统

说明书

本公开内容涉及用于训练模型的方法、装置和系统。描述了关于模型训练的各种实施例。在一个实施例中，一种用于训练模型的方法包括：获取由开放世界数据构成的与实际数据集相似的近似数据集；以及使用该近似数据集来训练模型。

技术领域

本公开一般地涉及隐私保护，并且具体地涉及模型训练过程中的隐 私保护。

背景技术

随着深度学习技术的不断发展，神经网络模型已被广泛地部署于包 括边缘计算设备在内的各种系统和装置上，用于与用户进行实时交互。

然而，由于神经网络模型含有较多的参数，通常需要大量的数据和 计算成本来训练，而大部分商业边缘计算设备并不支持高计算复杂度的 模型训练。为了解决该问题，一种技术路线是将数据收集到高算力的服 务器端进行训练。然而，数据共享可能会导致难以预计的隐私泄露。特 别地，在现有的多国隐私法律条款中，不允许数据离开本地。另一种技术路线是在本地利用实际数据进行模型训练，特别地，在从云端下载的 模型的基础上进行微调，以提升模型在实际数据上的表现。然而，模型 训练会消耗过多的资源，因此不适用于低功耗的边缘计算设备。

当前针对模型训练的隐私保护技术路线包含两种。第一种是使用差 分隐私技术。然而，该类方法对性能影响较大，且算力要求较高，训练 过程收敛较慢，无法满足现实的应用需求。另一种是对本地数据进行隐 私化处理，进而共享数据给服务器端进行模型训练。隐私化处理包括数 据加密和隐私属性解耦。前者利用传统的数值加密方法对图片或其他数 据样本进行加密，从而保证数据的可用性，但同时带来很高的计算负担， 对于低功耗的设备来说并不适用。后者需要提前训练有解耦能力的特征 提取模型，并在训练过程中有监督地学习去除特征中包含的隐私信息， 这一方面依赖提前定义好的隐私策略，另一方面可能同时去除了对于学 习任务来说重要的信息，降低了特征的质量。

因此，需要在保证模型训练的性能的同时，有效地保护本地实际数 据的隐私。

发明内容

本公开的一个方面涉及用于训练模型的方法。根据本公开的实施例， 该方法包括：获取由开放世界数据构成的与实际数据集相似的近似数据 集；以及使用近似数据集来训练模型。

本公开的一个方面涉及数据处理方法。根据本公开的实施例，该数 据处理方法包括：获取实际数据集；接收开放世界数据集的代表性数据 样本集；对代表性数据样本与实际数据进行特征匹配；以及返回代表性 数据样本与实际数据的匹配结果。

本公开的一个方面涉及产生模型的方法。根据本公开的实施例，产 生模型的方法包括：执行根据本公开实施例的用于训练模型的方法的步 骤来产生模型。

本公开的一个方面涉及训练装置。根据本公开的实施例，该装置包 括训练数据获取模块，被配置为获取由开放世界数据构成的与实际数据 集相似的近似数据集；以及训练模块，被配置为使用近似数据集来训练 模型。

本公开的一个方面涉及数据处理装置。根据本公开的实施例，该数 据处理装置包括数据采集模块，被配置为获取实际数据集；交互模块， 被配置为接收开放世界数据集的代表性数据样本集；以及特征匹配模块， 被配置为对代表性数据样本与实际数据进行特征匹配；其中，所述交互 模块还被配置为返回代表性数据样本与实际数据的匹配结果。

本公开的一个方面涉及用于训练模型的系统。根据本公开的实施例， 用于训练模型的系统包括根据本公开实施例的训练装置；以及根据本公 开实施例的数据处理装置。

本公开的再一个方面涉及存储有一个或多个指令的计算机可读存储 介质。在一些实施例中，该一个或多个指令可以在由处理器执行时，使 处理器执行根据本公开实施例的各方法的步骤。

本公开的再一个方面涉及包括一个或多个指令的计算机程序产品。 在一些实施例中，该一个或多个指令可以在由处理器执行时，使处理器 执行根据本公开实施例的各方法的步骤。