[发明专利]一种基于层级注意力和标签引导学习的关键信息识别方法

权利要求书

1.一种基于层级注意力和标签引导学习的关键信息识别方法，其特征在于，包括以下步骤：

步骤1：采集文献数据；

步骤2：解构文献数据并存储；

步骤3：文本预处理，包括对预训练语料库进行预处理，构建预训练集；

步骤4：构建预训练词编码层；

首先，获取在无标签文本语料库上预训练的语言表示模型；

然后，将步骤3构建的预训练集输入到预训练后的语言表示模型中，将所有词语映射为词向量，获得嵌入矩阵W_e，同时，将模型权重调至损失稳定；

步骤5：采用层级注意力和标签引导学习融合模型，进行关键信息识别，其中，融合模型包括：词编码层、词注意力层、句编码层、句注意力层、标签引导学习层和分类层；

包括以下步骤：

步骤5.1：将步骤3构建的训练集输入到词编码层；

设输入为一个句子包含单词w_it,t∈[0,T]，其中，t表示时刻，T表示总的时间；

首先，通过步骤4微调后的预训练语言模型，将单词表示为向量x_ij＝W_ew_ij，其中，w_ij表示单词；然后，使用双向长短期记忆网络，通过汇总来自单词两个方向的信息，获得单词注释，将上下文信息整合到注释中；其中，双向长短期记忆网络包含前向意为从w_i1到w_iT读取句子s_i，以及后向意为从w_iT到w_i1读取句子s_i；

计算时间t时，双向长短期记忆网络的双向隐藏状态和以及隐藏状态h_t＝(1-z_t)⊙h_t-1+z_t⊙h_t是前一状态h_t-1和当前状态h_t之间用新的序列信息计算的线性插值；表示前向隐藏状态，表示后向隐藏状态；x_it表示t时刻输入单词的向量，⊙表示点乘操作；

其中，更新门z_t决定保留多少过去的信息和添加多少新信息，门z_t的更新方式为：z_t＝σ(W_zx_t+U_zh_t-1+b_z)，其中，x_t是t时刻的序列向量，σ表示激活函数，W_z、U_z均为门神经元权重矩阵，b_z表示偏置；

候选状态h_t的计算方式为：h＝tanh(W_hx_t+r_t⊙(U_hh_t-1)+b_h)，其中，r_t为重置门，控制过去状态对候选状态的贡献程度，如果r_t为0则会忘记前一个状态；tanh为激活函数；W_h、U_h均表示门神经元权重矩阵，b_h表示偏置；

步骤5.2：拼接步骤5.1获得的前向隐藏状态和后向隐藏状态获得给定单词w_it的注释，即：以w_it为中心，总结整个句子信息；

步骤5.3：将隐藏状态输入到词注意力层；

设文档有L个句子s_i，每个句子包含T_i个单词，w_it,t∈[1,T]表示第i个句子中的单词；

在词注意力层，引入注意力机制来提取对句子意义重大的词语，并聚合这些词语的表示，形成句子向量；

将步骤5.2获得的h_it通过单层感知器获得h_it的隐藏表示u_it，然后将单词的重要性作为其与单词级上下文向量u_w的相似性进行度量，并通过激活函数获得归一化的重要性权重α_it；通过基于权重的单词注释的加权和，计算句子向量s_i；

步骤5.4：将句子向量s_i输入句编码层，得到隐藏状态和

步骤5.5：拼接和得到句子注释，即

步骤5.6：将隐藏状态h_i输入到句注意力层，获得句子级上下文向量u_i，并使用该向量来衡量句子的重要性，获得样本向量v，其总结了样本中句子的所有信息；

步骤5.7：将句子v输入到标签引导学习层；

将标签进行表示，其中l为标签，C_l为l的表示向量；然后将句子信息v＝[v₁,v₂,...,v_d]投影到标签表示空间，v_d表示在d维上的子向量；

计算方式为：其中，u_l表示最终的文本序列；d表示v的维度；v_j表示第j个子向量；w_lj是标签注意力权重，用来衡量标签文本对＜v_j,C_l＞兼容性，兼容性通过余弦相似度计算；

步骤5.8：将u_l输入到分类层进行文本分类，获得概率p＝softmax(W_cu_l+b_c)，W_c表示权重矩阵，b_c表示偏置；使用标签的负对数似然作为损失函数，其中，p_dj表示获得的概率，j是样本d的标签。