[发明专利]一种面向图神经网络的标签感知协同训练方法在审
申请号: | 202110697015.8 | 申请日: | 2021-06-23 |
公开(公告)号: | CN113361627A | 公开(公告)日: | 2021-09-07 |
发明(设计)人: | 王杰;贺华瑞;张占秋;陈佳俊 | 申请(专利权)人: | 中国科学技术大学 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 北京凯特来知识产权代理有限公司 11260 | 代理人: | 郑立明;付久春 |
地址: | 230026 安*** | 国省代码: | 安徽;34 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 面向 神经网络 标签 感知 协同 训练 方法 | ||
1.一种面向图神经网络的标签感知协同训练方法,其特征在于,用于通过图神经网络为图结构数据集中的未标注结点进行分类,所述图结构数据集由已标注结点集合和未标注结点集合组成,所述已标注结点集合占所述图结构数据集的总结点数量小于等于1%,包括:
步骤1,设定图神经网络的网络层数L、协同训练回合数K、标签传播迭代轮数T、标签传播权重α和协同训练每回合标注伪标签个数m,将所述图结构数据集对应的图邻接矩阵A、归一化邻接矩阵结点特征矩阵X和已标注结点的已知标签YL输入所述图神经网络进行处理;
步骤2,所述图神经网络通过将已标注结点的已知标签沿着连边传播估计出每个结点初步的标签取值分布F(T),用基尼系数衡量每个结点初步的标签取值分布属于某类的初步预测置信度;
所述每个结点初步的标签取值分布F(T)的迭代计算公式为:F(t)=αSF(t-1)+(1-α)Y,t取值为1至T,F(0)=Y,表示未标注结点的初始标签,是所述图神经网络对未标注结点的预测值,第一回合协同训练中为空,每一回合训练中所述公式F(t)=αSF(t-1)+(1-α)Y的迭代执行次数为T次;
步骤3,为初步预测置信度最高的预定m个结点标注伪标签形成增广的有标注图结构数据集Ltrain;
步骤4,利用所述图神经网络基于所述增广的有标注图结构数据集Ltrain,学习各结点的向量表示并做出全局预测,得出未标注结点的最终预测值
步骤5,将所述图神经网络对未标注结点的最终预测值作为未标注结点的初始标签,按所述步骤1设定的协同训练回合数K重复进行所述步骤2至步骤5,得出各未标注结点的最终分类结果。
2.根据权利要求1所述的面向图神经网络的标签感知协同训练方法,其特征在于,所述方法的步骤3中,若图神经网络为图卷积网络,则图神经网络基于所述增广的有标注图结构数据集执行以下的更新公式,得到结点最终向量表示并做出全局预测,更新公式为:
其中,是结点i在第l层图神经网络后的向量表示;X是结点特征矩阵;αij是图邻接矩阵A的第i行、第j列元素,表示结点i和结点j之间是否有连边;di是图结构数据集中结点i的度;dj是图结构数据集中结点j的度;H(0)是全体结点的初始向量表示矩阵;H(L)是全体结点在第L层图神经网络后的向量表示矩阵;是根据H(L)得到的对各结点的概率预测向量;是经伪标签增广后的结点标签;是计算出的交叉熵损失值。
3.根据权利要求1所述的面向图神经网络的标签感知协同训练方法,其特征在于,所述方法步骤3中,若图神经网络为图注意力网络,则图神经网络基于所述增广的有标注图结构数据集执行以下的更新公式,得到结点最终向量表示并做出全局预测,更新公式为:
H(0)=X
其中,αij表示结点j对结点i的重要程度,即注意力;LeakyReLU是激活函数名;||表示向量拼接;σ(·)是非线性激活函数;K是注意力机制的头数;和W是可学习的参数矩阵;H(0)是全体结点的初始向量表示矩阵;H(L)是全体结点在第L层图神经网络后的向量表示矩阵;是根据H(L)得到的对各结点的概率预测向量;是经伪标签增广后的结点标签;是计算出的交叉熵损失值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学技术大学,未经中国科学技术大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110697015.8/1.html,转载请声明来源钻瓜专利网。