[发明专利]基于深度双向注意力机制的文本网络信息融合嵌入方法

权利要求书

1.一种基于深度双向注意力机制的文本网络信息融合嵌入方法，其特征在于，包括以下步骤：

S1：对节点的结构特征和文本特征进行提取；

S2：建立深度双向注意力机制将同个节点的结构特征和文本特征进行融合；

S3：通过深度双向注意力机制融合得到的结构特征和文本特征，设计损失函数，使邻居节点的结构特征和文本特征相似。

2.根据权利要求1所述的基于深度双向注意力机制的文本网络信息融合嵌入方法，其特征在于，所述步骤S1的具体过程是：

S11：对节点的结构特征进行提取：使用矩阵S∈R^|V|×d来保存整个网络中每个节点的结构特征，其中|V|表示所有节点的总个数，d表示结构特征的维度，矩阵S的每一行s_i∈S表示第i个节点的结构特征表示，根据节点的索引从S矩阵中取出第i个节点的结构特征表示，矩阵S是随机初始化的，并作为模型的参数，在训练的时候根据最终的目标方程自动优化；

S12：对节点的文本特征进行提取：对文本的词序列，使用词嵌入技术转换为词向量序列后使用卷积神经网络进行特征提取，得到每个节点文本的特征矩阵。对特征矩阵使用平均池化操作得到每个节点文本的原始文本特征。

3.根据权利要求2所述的基于深度双向注意力机制的文本网络信息融合嵌入方法，其特征在于，所述步骤S1中还包括：

对文本中出现的所有词汇建立词汇表，并建立每一个单词的索引，通过索引将每个单词转换成对应的独热向量，使用矩阵W∈R^|W_all|×d来保存整个网络中的词向量表示，其中|W_all|表示所有文本中出现单词的总个数，d表示文本特征的维度，词嵌入矩阵W的每一行w_i∈W表示第i个单词的词向量表示，通过将每个单词的独热表示与词嵌入矩阵W相乘，取出某一行得到该文本中每个词的词嵌入表示，将每个节点文本内容中的词嵌入表示拼接在一起得到每个文本的词嵌入矩阵表示，矩阵W是随机初始化的，并作为模型的参数，在训练的时候根据最终的目标方程自动优化。

4.根据权利要求3所述的基于深度双向注意力机制的文本网络信息融合嵌入方法，其特征在于，所述步骤S1中还包括：

通过卷积层对词嵌入层得到的每个文本的词嵌入矩阵进行文本特征提取。对于输入的词嵌入矩阵w_i，w_i表示第i个文本的词嵌入矩阵，使用宽度为l的卷积核F_l∈R^l×d逐步进行卷积操作，得到特征映射的公式如下：

其中w_i[j：j+l-1]表示词嵌入矩阵中第j行到第j+l-3行的实值，每经过一次计算，就将窗口滑动一定的步数，在每一个窗口内卷积核进行计算得到值，将这些值拼起来得到每个卷积核提取到的特征映射f^l，如下：

其中n为该文本中所有单词个数，设置不同大小的卷积核来对文本进行特征的提取，每一个卷积核都可以提取出局部的语义信息，而多个不同的卷积核可以从多个方面对句子进行语义特征的提取，多个卷积核的特征映射向量会组成一个特征映射矩阵。

5.根据权利要求4所述的基于深度双向注意力机制的文本网络信息融合嵌入方法，其特征在于，所述步骤S1中还包括：依次对每个卷积核得到的特征向量进行平均池化操作，即对特征向量中的实值求和计算平均，然后将得到的值依次拼接得到每个文本的文本特征。