[发明专利]一种基于层次注意力机制的半监督网络表示学习模型

权利要求书

1.一种基于层次注意力机制的半监督网络表示学习模型，其特征在于：包括如下步骤：

步骤1)，词级语义编码：输入以句号分句的节点文本，使用词向量查询的方法初始化每个词的初始语义表示，后利用双向GRU以序列的方式对句中的词进行高层的语义编码；

步骤2)，句级语义编码：根据词的高层语义表示，以词级注意力机制得到句子的初始语义表示，后利用另一组双向GRU学习文本中每个句子的高层语义表示；

步骤3)，节点文本表示：根据句子的高层语义表示，以句级注意力机制得到文本的表示向量，与节点文本中各词的词向量平均池化向量相加得到节点的文本表示；

步骤4)，得到节点结构表示向量及节点的表示向量：随机初始化节点结构表示向量，用对数似然损失函数优化得到结构表示向量，将节点的文本表示向量与结构表示向量拼接得到节点的表示向量；

步骤5)，半监督框架下引入节点标签：在半监督学习的框架下，将带标签节点的标签信息引入网络表示学习，将分类损失与步骤4中的对数似然损失联合优化得到最终的节点表示向量。

2.根据权利要求1所述的一种基于层次注意力机制的半监督网络表示学习模型，其特征在于：所述的步骤1)中，输入以句号分句的节点文本，其中节点u的文本信息可表示为如下形式：

D_u＝(S_u1，S_u2，…，S_uq)

其中，S_ui为节点u文本的第i个句子，q为该文本所包含的句子总数；

S_ui可表示为：

其中为句子S_ui的第j个词，以随机初始化的d维词向量表示，m为该句子所包含的词的个数。

3.根据权利要求1所述的一种基于层次注意力机制的半监督网络表示学习模型，其特征在于：所述的步骤1)中，为了获取句中词的高层语义表示，使用双向GRU对词向量进行编码，t时刻GRU的状态h_t通过如下公式计算：

r_t＝σ(W_rx_t+U_rh_t-1+b_r)

z_t＝σ(W_zx_t+U_zh_t-1+b_z)

公式中，r_t、z_t分别代表重置门、更新门，用于控制信息的传递，σ为sigmoid激活函数，W、U和b为网络参数，⊙代表矩阵元素乘法，x_t为序列在t时刻的表示向量，为t时刻GRU的候选状态。

4.根据权利要求1所述的一种基于层次注意力机制的半监督网络表示学习模型，其特征在于：所述的步骤1)中，利用双向GRU以序列的方式对句中的词进行高层的语义编码的具体步骤为：

步骤1.1)前向的GRU编码阶段：

利用GRU对句中的词向量序列按照原始顺序进行编码得到前向的隐藏特征，对于第i个句中的第j个词，

步骤1.2)反向的GRU编码阶段：

步骤1.3)双向编码特征结合阶段：

将步骤1.1)与步骤1.2)中得到的两个方向的隐藏特征向量进行拼接，得到每个词双向的高层语义表示：