[发明专利]基于深度双向注意力机制的文本网络信息融合嵌入方法

说明书

本发明提供一种基于深度双向注意力机制的文本网络信息融合嵌入方法，该方法使用两种向量表示来分别代表网络中节点的结构信息和文本信息，通过深度双向注意力机制将同个节点的结构信息和文本信息进行融合，让结构信息和文本信息进行相互选择，最后将融合得到的结构、文本注意力信息再和原始信息进行融合，作为最终的结构和文本向量表达，每一个节点的最终向量表示由学习得到的结构和文本向量相拼接得到。对于损失函数的设计，本发明在训练的时候倾向于让相邻节点具备相似的结构表达和相似的文本表达，过程中使用的数据集为zhihu、Cora和Hepth，在这三个数据集上进行关系预测。

技术领域

本发明涉及自然语言处理中的文本网络嵌入相关领域，更具体地，涉及一种基于深度双向注意力机制的文本网络信息融合嵌入方法。

背景技术

在现代社会，伴随着网络的快速发展，人们可以很方便地在网络上发布一些文字信息与好友进行交流。例如我们可以在微信发布文字朋友圈，并在朋友圈下面跟自己的好友互相评论；我们还可以在网购平台上给购买的商品填写评价，或者回答好友关于购买商品的提问。如果我们想将上述例子提到的人与人之间的好友关系以及其发布的文本信息记录下来，我们会发现网络提供了一种非常方便的形式来记录这些数据。我们可以将网络中每个节点当做每一个用户，用节点之间的边的存在情况代表用户之间社会关系的存在情况，同时每个节点还可以附带文本数据，这样的网络被称之为文本网络。

通常情况下，文本网络会包含几千万甚至上亿的边、节点以及附带的文本信息，这就使得我们很难在整个网络上直接计算复杂度较高的运算。为了解决这个问题，文本网络嵌入技术面世，其旨在针对网络中的每个节点，根据其结构信息与文本内容进行特征抽取，得到每个节点低维度的特征向量表示。利用学习到的节点低维度向量表示，我们就可以将原本针对节点间关系计算的许多计算复杂度较高的运算转换成简单的对节点间所得向量相似度的计算，通过计算向量之间的余弦值或者向量间点积值来衡量节点之间关系的强弱。

发明内容

本发明提供一种提升文本网络嵌入表达质量的基于深度双向注意力机制的文本网络信息融合嵌入方法。

为了达到上述技术效果，本发明的技术方案如下：

一种基于深度双向注意力机制的文本网络信息融合嵌入方法，包括以下步骤：

S1：对节点的结构特征和文本特征进行提取；

S2：建立深度双向注意力机制将同个节点的结构特征和文本特征进行融合；

S3：通过深度双向注意力机制融合得到的结构特征和文本特征，设计损失函数，使邻居节点的结构特征和文本特征相似。

进一步地，所述步骤S1的具体过程是：

S11：对节点的结构特征进行提取：使用矩阵S∈R^|V|×d来保存整个网络中每个节点的结构特征，其中|V|表示所有节点的总个数，d表示结构特征的维度，矩阵S的每一行s_i∈S表示第i个节点的结构特征表示，根据节点的索引从S矩阵中取出第i个节点的结构特征表示，矩阵S是随机初始化的，并作为模型的参数，在训练的时候根据最终的目标方程自动优化；

S12：对节点的文本特征进行提取：对文本的词序列，使用词嵌入技术转换为词向量序列后使用卷积神经网络进行特征提取，得到每个节点文本的特征矩阵。对特征矩阵使用平均池化操作得到每个节点文本的原始文本特征。

进一步地，所述步骤S1中还包括：