[发明专利]基于门控图注意力网络的论文分类模型构建方法及系统

说明书

本发明公开了一种基于门控图注意力网络的论文分类模型构建方法及系统。该方法包括：构建基于门控图神经网络的分类模型，分类模型包括依次连接的若干层，其中，各层均包括一图神经网络结构以及一分类器，第一层中图神经网络结构和分类器直接连接，第t层中图神经网络结构和分类器之间通过门控结构连接，t为大于1的整数；确定样本数据集中各论文样本i的特征矩阵将各论文样本的特征矩阵输入分类模型，并以各论文样本的类型为标签对分类模型进行训练；训练过程中，融合了样本论文的属性，且通过门控机制，聚合远距离节点信息，在获得更多语义信息的同时，解决了梯度消失问题，提升了分类的准确度。

技术领域

本发明涉及节点分类领域，特别是涉及一种基于门控图注意力网络的论文分类模型构建方法及系统。

背景技术

大数据时代，对于引文网络中论文的分类，传统的分类方法有决策树、逻辑回归、支持向量机、随机森林等，但是和后面陆续提出的深度学习方法相比，准确度普遍不高。基于论文图谱数据中节点顺序的无规律性，传统深度学习方法在处理图谱数据时存在一定困难。但是图神经网络的提出和快速发展，为图谱数据研究打开了一扇大门，其中GNN、GraphSage、GCN、GAT、R-GCN等方法相继被提出并使分类准确度进一步提升，它们在节点分类相关问题上的表现足以说明图神经网络在解决节点分类问题方面的有效性。但是目前此类方法还存在以下问题：(1)精度受限；(2)发生过拟合风险高，为了防止过拟合往往只能依赖有限甚至单跳邻居信息。

发明内容

本发明的目的是提供一种基于门控图注意力网络的论文分类模型构建方法及系统。

为实现上述目的，本发明提供了如下方案：

一种基于门控图注意力网络的论文分类模型构建方法，包括：

构建基于门控图神经网络的分类模型，所述分类模型包括依次连接的若干层，层数大于等于2，其中，各层均包括一图神经网络结构以及一分类器，第一层中图神经网络结构和分类器直接连接，第t层中图神经网络结构和分类器之间通过门控结构连接，t为大于1的整数；

根据计算样本数据集中论文样本i与其邻居论文样本j各属性之间总的相关性β_ij，其中，V_k表示第k个属性A_k的权重，B(A_ki,A_kj)表示论文样本i的第k个属性与论文样本j的第k个属性的相关程度，B(,)为利用词袋模型计算词语之间的语义相关性程度的函数，K为属性的数量，N_i是论文样本i的邻居集合，所述属性包括出版社、作者、摘要中的一种或几种；

确定样本数据集中各论文样本i的特征矩阵其中，特征矩阵为基于单词数据集确定的论文样本i的0-1矩阵；

将各论文样本的特征矩阵输入所述分类模型，并以各论文样本的类型为标签对所述分类模型进行训练；其中，

第一层图神经网络结构根据或对论文样本i进行嵌入表示，其中，为第一层的嵌入式表示结果，e_ij表示论文样本i与论文样本j之间的重要性程度，W₁、W₂、W₃、U分别表示用于训练的权重矩阵，a表示一个由权重向量参数化的单层前馈神经网络，γ_ij表示e_ij进行的归一化处理后的结果，论文样本p为论文样本i的邻居论文样本，σ表示任意一将变换为的非线性函数，K表示在引入多头注意力时多头注意力的数量，k表示第k头注意力；

第t层图神经网络结构根据对论文样本i进行嵌入表示，其中，为第t层的嵌入式表示结果，其中，W'、U'、W^r、U^r、W^z、U^z分别表示用于训练的权重矩阵。

可选的，所述论文样本的类型包括基于案例类型、遗传算法类型、神经网络类型、概率方法类型、强化学习类型、规则学习类型以及理论类型。