[发明专利]一种基于对比学习的自监督图神经网络方法在审

专利信息
申请号: 202310135025.1 申请日: 2023-02-20
公开(公告)号: CN115983351A 公开(公告)日: 2023-04-18
发明(设计)人: 王波;国英龙;贾智洋;李志胜;王伟;徐振宇;杨铭锴;刘彦北 申请(专利权)人: 思腾合力(天津)科技有限公司
主分类号: G06N3/0464 分类号: G06N3/0464;G06N3/0895;G06F16/901;G06Q50/00;G16C20/30
代理公司: 北京圣州专利代理事务所(普通合伙) 11818 代理人: 李春
地址: 301799 天津市滨海新*** 国省代码: 天津;12
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 对比 学习 监督 神经网络 方法
【权利要求书】:

1.一种基于对比学习的自监督图神经网络方法,其特征在于:包括以下步骤:

S1、收集原始图数据;

S2、对收集到的图数据进行图增强,生成正样本图数据和负本图数据;

S3、对原始图数据以及生成的正样本图数据和负样本图数据进行编码,得到节点表示;

S4、将原始图数据的节点表示进行读出操作,得到对应于全局的图表示,将负样本图数据中的节点表示以及原图数据中的节点表示与图表示进行对比得到全局信息,同时将原图数据和正样本图的节点表示进行对比得到局部信息;

S5、通过最小化目标函数,拉近正样本图数据在表征空间中的距离,同时拉远负样本图数据在表征空间中的距离,让节点学习到全局的语义信息,从而提高学习到的节点表示质量。

2.根据权利要求1所述的一种基于对比学习的自监督图神经网络方法,其特征在于:在步骤S1中,定义一个图数据集:将无向图定义为它们的节点集用表示,其中,vi代表节点i;节点特征矩阵用表示,其中,xi表示节点vi的特征向量,N代表节点数量,d0代表节点的特征维度;代表图的邻接矩阵,其中,边ei,j=(vi,vj)∈ε表示着节点vi和vj具有链接关系,|E|表示边的数量。

3.根据权利要求1所述的一种基于对比学习的自监督图神经网络方法,其特征在于:在步骤S2中,首先,给定一个图数据其拥有节点特征矩阵以及邻接矩阵则定义一个增强图生成负样本:其中,是部分扰乱的节点集,是一个索引函数,用来自特征矩阵的节点向量vi,断开负样本图数据之间的节点级链接;再定义一个增强图生成正样本:M是与特征矩阵X具有相同形状大小的0,1掩码矩阵,表示Hadamard乘积。

4.根据权利要求3所述的一种基于对比学习的自监督图神经网络方法,其特征在于:对于给定的掩码矩阵M,其元素被初始化为1,并且掩码特征通道被分配为0,并按照即掩码矩阵M中0元素占所有元素的比例来删除节点内部的部分属性。

5.根据权利要求1所述的一种基于对比学习的自监督图神经网络方法,其特征在于:在步骤S3中,利用图卷积神经网络对原始图数据以及增强生成的正样本图数据和负本图数据进行图编码表示。

6.根据权利要求5所述的一种基于对比学习的自监督图神经网络方法,其特征在于:步骤S3中所述的图卷积神经网络通过消息传递机制,将每个节点携带的信息传播给其邻居,进而更新各个节点的表示,通过l层迭代,每个节点均可捕获到其l跳邻居的信息,即:

其中,AGGREGATE(·)和COMBINE(·)分别为聚合邻域节点的信息和更新自身节点信息,为节点n的邻域节点集合,为节点n的邻域节点u的l-1层节点表示,为节点n聚合的邻域节点的信息,为节点n更新邻域及自身信息后的第l层节点表示。

7.根据权利要求1所述的一种基于对比学习的自监督图神经网络方法,其特征在于:在步骤S4中,由于图表示包含了图的全部信息,因此对比拥有全局信息的图表示约束节点表示,以此学习全局信息。

8.根据权利要求7所述的一种基于对比学习的自监督图神经网络方法,其特征在于:在步骤S4中,节点包含了图的局部信息,因此对比拥有局部信息的节点表示和正样本节点表示,以此学习局部信息。

9.根据权利要求1所述的一种基于对比学习的自监督图神经网络方法,其特征在于:在步骤S5中,通过为两个不同的损失项目分配不同的权重系数,来优化图神经网络,用于不同的下游任务。

10.根据权利要求9所述的一种基于对比学习的自监督图神经网络方法,其特征在于:步骤S5具体包括以下步骤:

S51、通过对比正样本图数据之间的负余弦相似度定义局部对比损失:

其中,为余弦相似度,代表一对正样本节点之间的相似度,N为节点数量;

同时为了得到图数据的全局信息,通过给正负样本节点表示与图表示打分,定义全局信息的损失,即交叉熵损失:

其中,为读出操作之后的图表示,包含图的全局信息,是一个双线性层:是可学习矩阵,σ(·)是sigmoid激活函数;

S52、整体损失定义如下形式:

其中,α是局部信息和全局信息之间的平衡系数,用来平衡局部和全部对比网络的重要程度;

S53、采用Adam下降法最小化整体损失用以更新编码器的参数,并将预训练后的编码器用于不同的下游任务。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于思腾合力(天津)科技有限公司,未经思腾合力(天津)科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202310135025.1/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top