[发明专利]一种基于元结构和图神经网络的网络表征学习方法

说明书

本发明提供一种基于元结构和图神经网络的网络表征学习方法。本发明通过图神经网络和带权注意力机制来聚合邻居节点的信息，采用层次搜索算法生成候选的元结构集合，不需要预先定义元结构，并且相比于以往的元路径，可以考虑到节点之间更复杂的结构信息。本发明融合了图神经网络强的学习能力和元结构的丰富语义，有效解决了以往基于元路径的方法考虑结构单一以及需要依赖经验指定元结构的问题。并且，引入带权的注意力机制可以显式地考虑到元结构中的数量信息。进而生成比传统表征分类方式的结果更精确的最终节点，该最终节点可作为向量表征可用于后续的其他机器学习人物中。

技术领域

本发明属于大数据技术领域，具体涉及一种基于元结构和图神经网络的网络表征学习方法。

背景技术

网络广泛存在于现实世界中，许多现实场景下都可以通过网络或图来建模表示物体以及物体之间联系。许多的研究工作关注于网络或图中节点的表征学习，其将本身复杂且不规则的图中包含的节点表示为长度相等且维度较低的向量，将向量应用到后续的机器学习任务可以表现出较好的效果，例如节点分类、节点聚类、异常检测和链接预测等。一类被广泛关注的网络被称为异质信息网络(Heterogeneous Information Network,HIN)，例如常见的引用网络，网络由作者节点 (A)、期刊节点(C)、论文节点(P)等多种类型节点构成，由于其节点和边的类型复杂，异质信息网络中的网络表示学习(Network Embedding)是一项困难的任务。近年来，图神经网络(Graph Neural Network,GNN)和注意力机制(Attention Mechanism)被较多研究应用到网络表征学习中，其通过对邻居节点中的信息进行聚合，得到的节点表示可以在诸如节点分类以及聚类相关的机器学习任务中表现出色。

然而，当前大多数图神经网络和注意力机制都依赖于预定义的元路径(Meta-path)，而预定义需要借助背景知识或对数据集的了解来预先定义元路径增加了机制的操作难度，同时元路径表示的还具有过度单一的缺点。

发明内容

为解决上述问题，提供一种基于元结构和图神经网络的网络表征学习方法，本发明采用了如下技术方案：

数据准备，通过网络获取若干个相关信息，并将所述若干个相关信息处理形成一个带有节点属性的异质信息网络；网络表征学习，将所述异质信息网络输入到经过表征学习训练后得到的所述网络表征学习模型；向量表征获取，将所述网络表征学习模型输出的最终节点作为所述异质信息网络的所述向量表征，其中，对所述网络表征学习模型进行的所述表征学习训练的具体步骤为：训练数据集准备步骤，给定多个带有节点属性的所述异质信息网络作为训练数据集，从所述训练数据集中提取一个所述异质信息网络输入到所述网络表征学习模型；层次搜索步骤，根据输入的所述异质信息网络的网络模式和目标节点类型以及预令的最大搜索深度来生成候选的元结构集合，根据层次搜索算法将所述元结构集合中的元结构进行对称补齐；计算矩阵步骤，将所述元结构分为单条路径元结构和多条路径元结构，分别通过单路径算法和多路径算法获得所述单条路径元结构和所述多条路径元结构各自对应的邻接矩阵，对所述邻接矩阵进行平衡链接重要性后获取矩阵元素；邻居信息聚合步骤，基于所述元结构计算得到注意力系数，使用多头注意力机制算法，基于所述矩阵元素和所述注意力系数计算所有所述元结构的输出特征，对所有所述元结构使用转换矩阵进行转换，并将所有所述转换矩阵的结果加和作为最终节点；计算交叉熵损失和梯度回传，通过交叉熵计算公式获得基于所述最终节点的交叉熵损失，通过梯度反向传播算法进行多轮的参数迭代直到所述交叉熵损失收敛，完成对所述网络表征学习模型的所述表征学习训练。