[发明专利]一种基于多样化语义注意力模型的细粒度实体分类方法

权利要求书

1.一种基于多样化语义注意力模型的细粒度实体分类方法，其特征在于，包括如下步骤：

步骤1，基于切分长度和步长，从输入句子中裁剪出单词和长度不同的多个注意力片段，组合得到句子的多样化注意力片段序列；

步骤2，构建多样化语义注意力模型，包括注意力图预测模型与注意力特征集成模型两部分，其中，注意力图预测模型先对注意力片段进行语境化词向量编码，再结合实体的注意力权重和上下文词的注意力权重计算注意力特征，整合得到注意力图；注意力特征集成模型根据前一时刻注意力图，更新实体的注意力权重和上下文词的注意力权重；

步骤3，构建多样性约束，包括注意力图约束和注意力片段约束，结合分类损失，确定最终的损失函数，用于训练多样化语义注意力模型；

步骤4，利用训练好的多样化语义注意力模型，确定多样化注意力片段序列对应的注意力图，结合softmax网络，预测每个时间步长对于每个细粒度实体类别分类结果，综合得到输入句子中实体的预测结果。

2.根据权利要求1所述基于多样化语义注意力模型的细粒度实体分类方法，其特征在于，步骤1中，基于切分长度和步长，从输入句子中裁剪出单词和长度不同的多个注意力片段，组合得到句子的多样化注意力片段序列，具体方法为：首先根据定义的切分长度大小裁剪注意力片段，并沿输入序列方向按着步长前进，按照这种策略，生成的注意力片段具有不同单词和长度，然后将所有注意力片段将组成一个序列，并且将长片段放在短片段之前。

3.根据权利要求1所述基于多样化语义注意力模型的细粒度实体分类方法，其特征在于，步骤2中，构建多样化语义注意力模型，包括注意力图预测模型与注意力特征集成模型两部分，具体方法为：

步骤2.1，构建注意力图预测模型，首先使用预训练的语境化词向量对输入的注意力片段进行编码，然后采用基于实体语义的注意力机制从语句中提取最相关的特征来形成注意力特征；

1)注意力片段编码

为了捕获不同上下文中的词语义，对输入的注意力片段进行语境化词向量编码，所述语境化词向量编码采用上下文词表示方法，得到上下文词表示指在t时刻，注意力片段为S_t＝{w₁,w₂,...,w_L}的上下文词表示，其中是与注意力片段中第i个单词w_i对应的d_r维表示,L是注意力片段的长度；

2)实体表示

为了让模型关注具有更多信息的单词，通过注意力机制表示一个由M个单词组成的实体m，t时刻实体m的注意力机制m_t如下：

其中，r_t,i是t时刻第i个单词的基于语境化词向量编码的上下文表示，t时刻实体m的注意力权重计算如下：

其中，与是训练参数，d_a是隐藏注意层的维度；

3)基于实体语义的注意力机制

为了针对不同的信息去关注注意力片段的不同部分，采用基于实体语义的方法计算上下文词的注意力权重，结合LSTM单元上一时刻的隐藏状态h_t-1共同确定新的注意力图；给定一个注意力片段S在t时刻的上下文c，通过注意机制以及上下文词向量将t时刻的上下文c_t表示为：

其中，C是上下文的单词总数，且的定义是：

其中，表示级联，W_i^h表示从上一个隐藏状态h_t-1到注意力图的第i个位置的连接权重，同样的，W_i^C表示从上下文词向量到第i个注意力图的权重；

最后，通过将m_t和c_t串联起来，形成t时刻注意力片段S的注意力特征：

步骤2.2，注意力特征集成模型构建

采用双向LSTM网络构建注意力特征集成模型，该模型将注意力图预测模型输出的注意力特征作为输入，更新LSTM的记忆单元状态和隐藏状态，其中LSTM的记忆单元状态和隐藏状态的初始态，是将所有注意力特征的平均值用作MLP的输入得到：

其中，f_init,c和f_init,h是MLP的两个已知函数，T是总时刻，这些初始值被用来计算第一个上下文注意力图的权重从而确定了初始的注意力特征x₁。