[发明专利]训练图神经网络的方法、图神经网络设备、装置、介质在审
申请号: | 201910640693.3 | 申请日: | 2019-07-16 |
公开(公告)号: | CN110348573A | 公开(公告)日: | 2019-10-18 |
发明(设计)人: | 陈鹏飞;刘卫文;谢昌谕;陈广勇;张胜誉 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06N3/08 | 分类号: | G06N3/08;G06N3/04 |
代理公司: | 北京市柳沈律师事务所 11105 | 代理人: | 王娟 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 神经网络 传递矩阵 向量 互信息 图结构 训练图 结点 信息传递方式 关联关系 数据包括 向量生成 连结点 | ||
1.一种训练图神经网络的方法,包括:
获取所述图神经网络的图结构数据,其中,所述图结构数据包括结点的表征向量和边的表征向量,所述边表示相连的结点之间的关联关系;
利用所述图神经网络基于所述边的表征向量生成传递矩阵,其中,所述传递矩阵表示相连结点之间的信息传递方式;
确定所述边的表征向量与所述传递矩阵之间的互信息;以及
利用所述互信息训练所述图神经网络。
2.根据权利要求1所述的方法,其中,所述图神经网络包括边神经网络,所述利用所述图神经网络基于所述边的表征向量生成传递矩阵包括:
利用所述边神经网络基于所述边的表征向量生成传递矩阵。
3.根据权利要求2所述的方法,其中,确定所述边的表征向量与所述传递矩阵之间的互信息包括:
确定对应于所述边的表征向量的边缘熵;
确定所述传递矩阵与所述边的表征向量之间的相关信息熵;
基于所述边缘熵和所述相关信息熵确定所述互信息。
4.根据权利要求3所述的方法,其中,确定所述传递矩阵与所述边的表征向量之间的相关信息熵包括:
确定后验分布函数,其中,所述后验分布函数表征在发生传递矩阵的条件下发生所述边的表征向量的概率分布;
基于所述后验分布函数确定所述相关信息熵。
5.根据权利要求4所述的方法,其中,确定后验分布函数包括:
利用所述边神经网络的逆网络对所述传递矩阵进行处理,生成逆矩阵;
基于所述边的表征向量和所述逆矩阵来确定所述后验分布函数。
6.根据权利要求1所述的方法,其中,利用所述互信息训练所述图神经网络包括:
通过最大化所述互信息来训练所述图神经网络,其中,
由以下公式表示所述互信息:
其中,I(e;W)表示所述边的表征向量e与所述传递矩阵W之间的互信息,H(e)表示对应于所述边的表征向量的边缘熵,Ee~p(e)表示对边的概率分布p(e)求数学期望,α为系数,f表示边神经网络,g表示逆网络,表示L2范数的平方。
7.根据权利要求1所述的方法,其中,所述图结构数据包括多个结点,所述方法还包括:
对于每个结点,确定与所述结点相连的其他结点;
利用所述图神经网络基于所述结点和与所述其他结点之间的边的表征向量生成第一传递矩阵;以及
利用所述第一传递矩阵和所述其他结点的表征向量来更新所述结点的表征向量。
8.根据权利要求1所述的方法,其中,所述图神经网络是信息传递神经网络。
9.一种图神经网络设备,包括:
图神经网络单元,配置成获取包括结点的表征向量和边的表征向量的图结构数据,以及基于所述边的表征向量生成传递矩阵,其中,所述边表示相连的结点之间的关联关系,所述传递矩阵表示相连结点之间的信息传递方式;
训练单元,配置成确定所述边的表征向量与所述传递矩阵之间的互信息,以及利用所述互信息训练所述图神经网络单元。
10.根据权利要求9所述的设备,其中,所述图神经网络单元包括边神经网络,利用所述边神经网络基于所述边的表征向量生成传递矩阵。
11.根据权利要求10所述的设备,其中,所述训练单元还配置成:
利用所述边神经网络的逆网络对所述传递矩阵进行处理以生成逆矩阵;
基于所述边的表征向量和所述逆矩阵来确定后验分布函数,其中,所述后验分布函数表征在发生传递矩阵的条件下发生所述边的表征向量的概率分布;
基于所述后验分布函数确定所述传递矩阵与所述边的表征向量之间的相关信息熵,
基于对应于所述边的表征向量的边缘熵和所述相关信息熵确定所述互信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910640693.3/1.html,转载请声明来源钻瓜专利网。