[发明专利]一种基于多视图多层注意力的面向学术论文的分类方法

说明书

一种基于多视图多层注意力的面向学术论文的分类方法涉及深度学习领域、图神经网络领域。在当今信息化高速发展的时代，传统的论文匹配方法仅仅使用单一的关系图，导致匹配效果不佳。本发明首先将论文之间的多种关系图输入图卷积神经网络，做到了更准确地捕捉真实论文数据的复杂关系。然后在捕捉到多种关系的基础上，使用多层注意力机制，学习到了每一篇论文的最优表示。最后引入自动编码器模块，缓解了图卷积网络在学习多视图信息时产生的过平滑问题。结果表明，通过将多层注意力与多视图输入结合，并将自动编码器与图神经网络相结合，提高了对学术论文分类的精度，从而实现了数字图书馆中对论文与论文作者的高效匹配。

技术领域

本发明涉及深度学习领域、图神经网络领域和多层注意力的应用，具体发明是一种基于多视图多层注意力的面向学术论文的分类方法。

背景技术

在真实世界中网络无处不在，如社交关系网络、学术论文合作网络和根据用户喜好进行商品推荐的推荐网络等。如希望对真实世界中的网络进行分析，则需将网络转化为图，才可以进行后续任务。图神经网络中的图卷积网络是一种用于学习图结构的神经网络，在许多领域都有应用，如购物网站的推荐系统、蛋白质结构分析时使用的图分类、短视频网站对在线用户进行分类时使用的链路预测和节点分类等。现实世界的节点关系通常较为复杂，由大量类型不同，但又彼此相连的关系组成，如果仅仅用一种关系图表示，则会造成节点关系信息的损失，从而影响神经网络的学习效果。相比于一种关系图，多种关系图更能准确的表现现实世界中节点之间的关系。多视图是包含多种节点关系的图，使用多视图可以保证模型在建模时保留更全面的节点信息，从而学到更完整的节点关系。如图1 所示，图中节点为论文，节点之间包含三种关系：共同作者、共同参会和公用关键词。在单视图中，节点之间只会存在一种关系，而在使用多视图的情况下，节点之间可以同时包含以上三种关系。然而，当模型同时包含多种节点关系时，如何保证模型以最优权重对不同节点关系进行融合，以便后续工作能够更有效率地进行呢？

现有研究GCN的工作已经取得了较好的成果，但大多数工作仅使用单视图对节点之间的关系进行描述，即在模型中仅包含了节点之间的一种关系。单视图有易于理解、神经网络模型便于设计等众多优点，但是却很难准确地捕捉节点之间的关系。而准确地捕捉节点之间的关系，在对消息传递的有效性和对问题的解决可以起到至关重要的作用。而如何更好地利用真实世界中的多种节点关系来更准确地学得节点表示成为了待解决的重要问题。由于来自不同视图的关系对同一节点的影响是不同的，实际情况下要对不同视图分配不同权重。例如，参加同一个会议的两篇论文之间存在一定关联，但是这种关联可能不如同时使用同一关键词的两篇论文紧密。所以如果对所有视图以及每个视图中的所有节点均赋予相同权重，便会对最终的预测结果产生负面影响，也会削弱多视图所提供信息的意义。同时，在图神经网络的训练过程中，如果网络层数较多，就会引起过平滑问题。即在图神经网络的训练过程中，随着网络层数的增加和迭代次数的增加，每个节点的隐层表征会趋向于收敛到同一个值，最终导致训练效果下降。

随着图神经网络的蓬勃发展，相关领域的研究也逐渐深入，但已有方案依然存在一些局限性。1)现有方案缺乏一种能够充分捕获节点之间多种关系的模块，来自不同关系的相同节点只是简单地拼接，导致模型中节点信息冗余或节点信息不足；2)现有方案中少有能够有效融合多种节点关系的机制，已有的融合方法也不够准确；3)现有方案输入部分和GCN训练部分缺少连接，阻碍了不同模块之间的协商，导致分类性能不理想。

针对上述三个方面局限性，本发明提出以下三点改进。1)模型在输入部分包含了多种节点关系，因此更全面捕获节点之间关系的能力得到了提高。2)通过使用多层注意力模块，模型做到了为单视图内的不同节点和多个视图之间分别分配不同的权重，从而可以学习到节点的最优表示。3)自动编码器模块将自动编码器中每一层捕获到的潜在信息传入对应的GCN卷积层中，保证GCN中每一层学习到的不仅是结构信息，也学到了数据本身有用的表示，同时缓解了GCN 过平滑的问题，进一步提升节点的分类效果。

发明内容