[发明专利]一种图神经网络的预训练方法及装置在审
申请号: | 202210315789.4 | 申请日: | 2022-03-28 |
公开(公告)号: | CN114819139A | 公开(公告)日: | 2022-07-29 |
发明(设计)人: | 赵鑫;侯宇蓬;胡斌斌;张志强;周俊 | 申请(专利权)人: | 支付宝(杭州)信息技术有限公司;中国人民大学 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06N3/04 |
代理公司: | 北京亿腾知识产权代理事务所(普通合伙) 11309 | 代理人: | 陈霁;周良玉 |
地址: | 310000 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 神经网络 训练 方法 装置 | ||
1.一种图神经网络的预训练方法,包括:
获取业务关系图的图集合,其中各业务关系图中的节点表示业务对象,连接边表示业务关联关系;所述图集合包括第一图和目标图,所述第一图和目标图基于同一样本业务关系图分别进行预设增强处理而得到;
针对所述第一图,分别将所述图集合中各其他图作为第二图,利用图神经网络进行图间匹配表征,所述图间匹配表征包括,基于第一图自身,结合来自第二图的节点信息,确定该第一图的第一图表征,用于表示第一图相对于第二图的业务结构关联;基于第二图自身,结合来自第一图的节点信息,确定该第二图的第二图表征;
至少基于将所述目标图作为第二图时得到的第一图表征和第二图表征,确定第一损失;
根据所述第一损失,训练所述图神经网络。
2.如权利要求1所述的方法,其中,所述业务对象为用户或账户,所述业务关联关系为交易。
3.如权利要求1所述的方法,其中,所述预设增强处理包括如下处理中的一项或多项:
针对样本业务关系图中节点和/或连接边的扰动处理;
针对样本业务关系图的子图采样处理;
针对样本业务关系图的图扩散处理;以及
针对样本业务关系图的自适应处理。
4.如权利要求1所述的方法,其中,确定该第一图的第一图表征,包括:
基于第一图中的节点信息,结合来自第二图中各第二节点的节点信息,确定第一图中各第一节点的第一节点表征;
对各第一节点表征进行聚合,得到所述第一图的第一图表征。
5.如权利要求4所述的方法,其中,确定第一图中各第一节点的第一节点表征,包括:针对各第一节点执行多级向量聚合,其中,每级向量聚合包括:
基于该第一节点在该第一图中的各个邻居节点的上一级聚合向量进行第一聚合,得到图内聚合向量,其中各节点的初级聚合向量根据其节点属性特征确定;
基于该第一节点,对该第二图中各第二节点的上一级聚合向量进行第二聚合,得到跨图聚合向量;
根据该第一节点的上一级聚合向量,所述图内聚合向量以及所述跨图聚合向量,确定该第一节点的本级聚合向量。
6.如权利要求5所述的方法,其中,所述第一聚合,包括:
对所述各个邻居节点的上一级聚合向量,以及其连接边的上一级聚合向量进行聚合。
7.如权利要求5所述的方法,其中,所述第二聚合,包括:
基于该第一节点的上一级聚合向量,和各第二节点的上一级聚合向量,分别计算各第二节点相应于该第一节点的注意力权重值;
基于各第二节点相应于该第一节点的注意力权重值,对各第二节点的上一级聚合向量进行聚合。
8.如权利要求7所述的方法,其中,所述分别计算各第二节点相应于该第一节点的注意力权重值,包括:
基于该第一节点的上一级聚合向量与各第二节点的上一级聚合向量,确定该第一节点分别与各第二节点之间的第一相似度;
基于该第一节点分别与各第二节点之间的第一相似度,确定各第二节点相应于该第一节点的注意力权重值。
9.如权利要求4所述的方法,其中,对各第一节点表征进行聚合,得到所述第一图的第一图表征,包括:
确定各第一节点表征的第一平均表征;
利用预设激活函数以及所述第一平均表征,确定所述第一图表征。
10.如权利要求1-9任一项所述的方法,其中,所述确定第一损失,包括:
确定将所述目标图作为第二图时得到的第一图表征和第二图表征之间的目标相似度;
基于所述目标相似度,以及将各其他图作为第二图时得到的第一图表征和第二图表征之间的各相似度,得到所述第一损失,所述第一损失与所述目标相似度负相关。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于支付宝(杭州)信息技术有限公司;中国人民大学,未经支付宝(杭州)信息技术有限公司;中国人民大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210315789.4/1.html,转载请声明来源钻瓜专利网。