[发明专利]模型训练方法、装置、设备和介质有效
申请号: | 201910579016.5 | 申请日: | 2019-06-28 |
公开(公告)号: | CN112149141B | 公开(公告)日: | 2023-08-29 |
发明(设计)人: | 周旭辉;任兵;杨胜文;刘立萍 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F21/60 | 分类号: | G06F21/60;G06N20/00 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 孟金喆 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 模型 训练 方法 装置 设备 介质 | ||
1.一种模型训练方法,其特征在于,由第一方执行,所述方法包括:
对拥有的标签数据添加扰动值,得到扰动标签数据;
根据所述扰动标签数据和从第二方获取的第二方预测结果,确定残差原文;其中,所述第二方预测结果由所述第二方基于待训练的网络模型对第二方拥有的特征数据进行预测得到的;
对所述残差原文进行同态加密,得到残差密文;
向所述第二方发送所述残差密文,供所述第二方根据残差密文和第二方拥有的特征数据,确定第二方梯度密文;
对从所述第二方获取的第二方梯度密文进行同态解密,得到第二方梯度原文;
向第二方发送所述第二方梯度原文,供第二方根据所述第二方梯度原文继续对第二方的网络模型进行训练。
2.根据权利要求1所述的方法,其特征在于,对拥有的标签数据添加扰动值,得到扰动标签数据,包括:
针对拥有的每一标签数据,确定该标签数据的扰动值;其中,不同标签数据的扰动值不同;
对该标签数据添加该扰动值,得到该标签数据的扰动标签数据。
3.根据权利要求1或权利要求2所述的方法,其特征在于,所述扰动值的绝对值小于扰动阈值。
4.根据权利要求1所述的方法,其特征在于,根据所述扰动标签数据和从第二方获取的第二方预测结果,确定残差原文,包括:
基于待训练的网络模型对第一方拥有的特征数据进行预测,得到第一方预测结果;
根据所述第一方预测结果和从第二方获取的第二方预测结果,确定综合预测结果;
根据所述扰动标签数据和所述综合预测结果,确定残差原文。
5.根据权利要求1所述的方法,其特征在于,对所述残差原文进行同态加密,包括:
对所述残差原文进行同态加法加密。
6.根据权利要求1所述的方法,其特征在于,对所述残差原文进行同态加密,包括:采用放大系数对所述残差原文进行放大,得到放大残差;对所述放大残差进行同态加密;
相应地,对从所述第二方获取的第二方梯度密文进行同态解密,包括:
采用放大系数,对从所述第二方获取的第二方梯度密文进行同态解密。
7.根据权利要求1所述的方法,其特征在于,根据拥有的标签数据和从第二方获取的第二方预测结果,确定残差原文之后,还包括:
根据残差原文和第一方拥有的特征数据,确定第一方梯度原文;
根据所述第一方梯度原文,继续对第一方中的网络模型进行训练。
8.一种模型训练装置,其特征在于,配置于第一方,所述装置包括:
扰动标签数据生成模块,用于对拥有的标签数据添加扰动值,得到扰动标签数据;
残差原文确定模块,用于根据所述扰动标签数据和从第二方获取的第二方预测结果,确定残差原文;其中,所述第二方预测结果由所述第二方基于待训练的网络模型对第二方拥有的特征数据进行预测得到的;
残差密文获取模块,用于对所述残差原文进行同态加密,得到残差密文;
残差密文发送模块,用于向所述第二方发送所述残差密文,供所述第二方根据残差密文和第二方拥有的特征数据,确定第二方梯度密文;
第二方梯度原文获取模块,用于对从所述第二方获取的第二方梯度密文进行同态解密,得到第二方梯度原文;
第二方梯度原文发送模块,用于向第二方发送所述第二方梯度原文,供第二方根据所述第二方梯度原文继续对第二方的网络模型进行训练。
9.根据权利要求8所述的装置,其特征在于,所述扰动标签数据生成模块,具体用于:
针对拥有的每一标签数据,确定该标签数据的扰动值;其中,不同标签数据的扰动值不同;
对该标签数据添加该扰动值,得到该标签数据的扰动标签数据。
10.根据权利要求8或权利要求9所述的装置,其特征在于,所述扰动值的绝对值小于扰动阈值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910579016.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:模型训练方法、装置、设备和介质
- 下一篇:模型训练方法、装置、设备和介质