[发明专利]一种学习模型训练方法和系统

说明书

本发明公开了一种学习模型训练方法和系统，方法包括：由分发器将主机端的分支模型发送到多个参与者端；在多个参与者端将其本地的训练样本输入各自的分支模型以获得输出特征；由推送器将各参与者端的输出特征反馈到主机端；由管理器基于输出特征执行前向传播和梯度运算获得参数更新信息；基于参数更新信息更新主机端的分支模型。本发明能够在多领域联合训练中兼顾数据隐私和模型训练效果。

技术领域

本发明涉及人工智能领域，更具体地，特别是指一种学习模型训练方法和系统。

背景技术

在多领域联合训练的问题中，各参与者需要将本地数据发送到主机来训练模型。然而在特定情况下本地数据可能是各参与者自身的隐私数据或敏感数据，将其传送到主机会导致潜在的隐私泄露或泄密。现有技术通常在各参与者本地将其本地数据脱敏后才参与训练，但脱敏本身也会磨削数据本身的特征，继而影响训练模型的效果。

针对现有技术中多领域联合训练的数据隐私无法保护、训练效果差的问题，目前尚无有效的解决方案。

发明内容

有鉴于此，本发明实施例的目的在于提出一种学习模型训练方法和系统，能够在多领域联合训练中兼顾数据隐私和模型训练效果。

基于上述目的，本发明实施例的第一方面提供了一种学习模型训练方法，包括执行以下步骤：

由分发器将主机端的分支模型发送到多个参与者端；

在多个参与者端将其本地的训练样本输入各自的分支模型以获得输出特征；

由推送器将各参与者端的输出特征反馈到主机端；

由管理器基于输出特征执行前向传播和梯度运算获得参数更新信息；

基于参数更新信息更新主机端的分支模型。

在一些实施方式中，分发器和管理器设置于主机端；推送器设置于多个参与者端。

在一些实施方式中，多个参与者端本地的训练样本包括非公开的隐私数据。

在一些实施方式中，在多个参与者端将其本地的训练样本输入各自的分支模型以获得输出特征包括：在多个参与者端将其本地的训练样本输入分支模型的训练分支以分别执行多层卷积，并获取最后一个卷积层的输出结果作为输出特征。

在一些实施方式中，基于参数更新信息更新主机端的分支模型包括：基于参数更新信息更新分支模型中的参数。

本发明实施例的第二方面提供了一种学习模型训练系统，包括：

处理器；和

存储器，存储有处理器可运行的程序代码，程序代码在被运行时执行以下步骤：

由分发器将主机端的分支模型发送到多个参与者端；

在多个参与者端将其本地的训练样本输入各自的分支模型以获得输出特征；

由推送器将各参与者端的输出特征反馈到主机端；

由管理器基于输出特征执行前向传播和梯度运算获得参数更新信息；

基于参数更新信息更新主机端的分支模型。

在一些实施方式中，分发器和管理器设置于主机端；推送器设置于多个参与者端。

在一些实施方式中，多个参与者端本地的训练样本包括非公开的隐私数据。

在一些实施方式中，在多个参与者端将其本地的训练样本输入各自的分支模型以获得输出特征包括：在多个参与者端将其本地的训练样本输入分支模型的训练分支以分别执行多层卷积，并获取最后一个卷积层的输出结果作为输出特征。