[发明专利]一种基于知识蒸馏的可解释图神经网络表示方法在审
申请号: | 202110312058.X | 申请日: | 2021-03-24 |
公开(公告)号: | CN113095480A | 公开(公告)日: | 2021-07-09 |
发明(设计)人: | 王国胤;李苑;杜勇;颜子涵;张优敏;刘群;刘立 | 申请(专利权)人: | 重庆邮电大学 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08;G06Q50/00 |
代理公司: | 重庆辉腾律师事务所 50215 | 代理人: | 卢胜斌 |
地址: | 400065 重*** | 国省代码: | 重庆;50 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 知识 蒸馏 可解释 神经网络 表示 方法 | ||
1.一种基于知识蒸馏的可解释图神经网络表示方法,其特征在于,包括以下几个步骤:
S1、将图数据输入教师网络,在教师网络中得到概率向量作为软目标;
S2、通过温度T将教师网络得到的软目标蒸馏转移到学生网络中,使用软目标以全局近似的方式帮助学生网络学习向量表示;
S3、学生网络将节点不同邻居中的关键信息节点进行聚合,得到聚合后的学生网络的软预测向量、硬预测向量以及最终节点表示向量和形成的可解释结果。
2.根据权利要求1所述的一种基于知识蒸馏的可解释图神经网络表示方法,其特征在于,步骤S3具体包括:
S31、确定学生网络的中心节点:为图中每一个节点学习一个向量表示,视当前需要进行学习的节点为中心节点;
S32、当前中心节点的每一阶邻居节点视为一个切片;
S33、分别对每个切片进行关键信息节点选择和聚合:在每一阶邻居节点中选择合适的节点进行聚合,得到不同阶邻居节点中的关键信息节点;
S34、将每一阶的关键信息结果聚合得到学生网络的软预测向量、硬预测向量以及最终的向量结果。
3.根据权利要求1所述的一种基于知识蒸馏的可解释图神经网络表示方法,其特征在于,步骤S2中,蒸馏方式如下公式所示:
其中,LND为蒸馏损失,T为知识蒸馏的温度,Zs为学生网络得到的软预测向量,Zt为教师网络得到的软目标。
4.根据权利要求2所述的一种基于知识蒸馏的可解释图神经网络表示方法,其特征在于,学生网络中的硬预测向量如下公式所示:
其中,为学生网络中的硬预测损失,为学生网络中温度T=1的向量结果,yi为节点真实标签。
5.根据权利要求1所述的一种基于知识蒸馏的可解释图神经网络表示方法,其特征在于,步骤S3中,最终节点表示向量的更新方式如下公式所示:
其中,LND为蒸馏损失,为学生网络中的硬预测损失,Lstudent为学生网络的最终更新损失,α为平衡蒸馏损失和学生网中的硬损失的超参数,需预先设定。
6.根据权利要求1所述的一种基于知识蒸馏的可解释图神经网络表示方法,其特征在于,步骤S3中,可解释结果是方法聚合的邻居节点的index。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于重庆邮电大学,未经重庆邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110312058.X/1.html,转载请声明来源钻瓜专利网。