[发明专利]一种基于隐私保护的图模型训练方法、装置及设备有效
申请号: | 202110801373.9 | 申请日: | 2021-07-15 |
公开(公告)号: | CN113361658B | 公开(公告)日: | 2022-06-14 |
发明(设计)人: | 吴若凡 | 申请(专利权)人: | 支付宝(杭州)信息技术有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06F21/62;G06F16/901;G06N3/04;G06N3/08 |
代理公司: | 北京国昊天诚知识产权代理有限公司 11315 | 代理人: | 朱文杰 |
地址: | 310000 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 隐私 保护 模型 训练 方法 装置 设备 | ||
1.一种基于隐私保护的图模型训练方法,应用于终端设备,所述方法包括:
获取待构建的第一图表的节点信息,以及第二图表的节点信息和节点连接信息;
基于所述第一图表的节点信息,通过预设的全连接网络构建所述第一图表,并基于所述第二图表的节点信息和节点连接信息,通过预设的图网络构建所述第二图表,其中,所述全连接网络和所述图网络具有相同的网络参数;
获取所述第一图表中存在训练标签信息的第一节点的隐向量,基于所述第一节点的隐向量和所述第一节点对应的训练标签信息,通过预设的InstaHide隐私保护规则构建第一样本数据,所述InstaHide隐私保护规则是通过Mixup机制将样本数据与一个或多个随机样本数据混合而生成新的样本数据的规则;
分别为所述第一图表中不存在训练标签信息的第二节点和所述第二图表中的节点生成相应的训练标签信息,获取所述第二节点和所述第二图表中的节点的隐向量,基于所述第二节点和所述第二图表中的节点的隐向量和生成的训练标签信息,通过预设的InstaHide隐私保护规则构建第二样本数据;
基于所述第一样本数据和所述第二样本数据对服务器下发的图模型进行模型训练,并获取训练后的图模型对应的梯度信息,将所述梯度信息发送给所述服务器,以使所述服务器基于不同的终端设备提供的梯度信息对所述服务器中的图模型中的模型参数进行更新,得到更新后的图模型。
2.根据权利要求1所述的方法,所述全连接网络为全卷积网络FCN,所述图网络由图卷积神经网络GCN、图注意力网络GAT或GraphSAGE构建。
3.根据权利要求1所述的方法,所述基于所述第一节点的隐向量和所述第一节点对应的训练标签信息,通过预设的InstaHide隐私保护规则构建第一样本数据,包括:
针对所述第一节点的隐向量和所述第一节点对应的训练标签信息,生成所述第一节点对应的置换函数和权重;
基于所述第一节点对应的置换函数和权重,以及所述第一节点的隐向量和所述第一节点对应的训练标签信息,生成第一预选样本数据;
生成所述第一节点对应的节点参数,并基于所述第一节点对应的节点参数和所述第一预选样本数据,生成所述第一样本数据。
4.根据权利要求3所述的方法,所述第一节点对应的权重的和为1。
5.根据权利要求1所述的方法,所述基于所述第一样本数据和所述第二样本数据对图模型进行模型训练,并获取训练后的图模型对应的梯度信息,将所述梯度信息发送给服务器,包括:
基于所述第一样本数据对所述图模型进行模型训练,得到所述第一样本数据对应的预设第一分类损失函数的函数值;
基于所述第二样本数据对所述图模型进行模型训练,得到所述第二样本数据对应的预设第二分类损失函数的函数值;
基于所述第一样本数据对应的预设第一分类损失函数的函数值和所述第二样本数据对应的预设第二分类损失函数的函数值,确定所述图模型对应的损失函数的函数值,并基于所述图模型对应的损失函数的函数值,确定训练后的图模型对应的梯度信息,并将所述梯度信息发送给服务器。
6.根据权利要求5所述的方法,所述第一分类损失函数和所述第二分类损失函数相同,所述第一分类损失函数为交叉熵损失函数。
7.根据权利要求1所述的方法,所述分别为所述第一图表中不存在训练标签信息的第二节点和所述第二图表中的节点生成相应的训练标签信息,包括:
分别将所述第一图表中不存在训练标签信息的第二节点的节点数据和所述第二图表中的节点的节点数据输入到预设的目标图神经网络GNN模型中,得到分别与所述第一图表中不存在训练标签信息的第二节点和所述第二图表中的节点相应的训练标签信息,其中,所述目标GNN模型是基于预设的图表样本进行监督训练得到。
8.根据权利要求1-7中任一项所述的方法,所述图模型为基于图神经网络GNN构建。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于支付宝(杭州)信息技术有限公司,未经支付宝(杭州)信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110801373.9/1.html,转载请声明来源钻瓜专利网。