[发明专利]基于BLSTM和注意力机制的电子病历实体关系抽取方法

摘要

本发明提出一种基于BLSTM和注意力机制的电子病历实体关系抽取方法。该方法首先通过word2vec工具包将电子病历自然语句映射成为基本特征向量，然后利用BLSTM将基本特征向量编码成上层特征向量，接着利用基于词和句子级别的注意力机制捕获表征实体关系的重要文本内容以形成更高层次的特征向量，最后将得到的特征向量输入到softmax分类器中，抽取该语句中所有实体对之间的实体关系。另外，本方法没有利用任何依赖于任何知识库和专业词典来生成基本特征，降低了模型对人工特征工程的依赖性，为自动学习电子病历信息提供了技术途径。

主权项

1.基于BLSTM和注意力机制的电子病历实体关系抽取方法，其特征在于：利用双向LSTM神经网络自动生成特征向量，降低现存电子病历实体关系抽取模型对于手工特征工程质量的依赖性，引入注意力机制提高模型正确识别实体关系的性能，步骤如下：步骤1、得到输入基本特征向量表示该基本特征向量主要由输入语句词本身（W）、每个词到实体对的相对距离和词类型3个部分连接构成1)词本身（W）特征：对于给定的具有n个单词的句子, 我们首先利用word2vec工具包将每个单词转换成低维度的实数向量，单词表示是通过嵌入矩阵中的列向量编码的，其中是一个固定大小的词典，是嵌入矩阵的大小2)每个词到实体对的相对距离特征：我们用矩阵来表征每个单词到实体对的距离，其中是每个相对距离映射为实数向量后的维度，是一个可供用户调整的超参数，是固定大小的词典，即相对距离的范围大小，其具体定义是当前单词到头部或者尾部实体的相对距离3)词类型特征：在本方法中我们采用BIO标记法对所有单词进行标记，并将其作为基本特征之一，类似的，我们用矩阵来表示它，其中是单词所属类别映射为向量后的维度，是词类型特征矩阵的大小，即单词所属类别种类数量最后，我们将上述3种基本特征拼接起来形成总的输入特征向量序列，其中步骤2、利用BLSTM网络得到上层特征向量，其具体计算过程如下:1)本方法中我们利用循环神经网络来学习长距离语义信息形成上层特征向量，其单个神经元结构如图2所示，具体而言，该LSTM模型主要涉及到遗忘门、更新门以及输出门3个组成部分，其中遗忘门的计算过程如下：                 (1) 其中，是logisticsigmoidfunction,和分别代表输入和先前隐藏状态，和 是将要学习的权重矩阵同样的，更新门计算方法为：              (2)输出门的激活函数计算方法：            (3)其中，       (4)2)进一步地，我们采用BLSTM去学习过去和未来文本语义信息，其结构如图1的BLSTM encoder layer所示，所以上层特征向量通过下式计算：                   (5)其中，， 表示每个上层特征向量的维度，表示句子长度步骤3、利用基于词别的注意力机制(word‑level attention)捕获表征实体关系的重要文本内容，其具体计算过程如下:1)word‑levelattention的核心思想是在形成更高层次特征表示时需要为每个单词设置一个可学习的权重向量，其计算过程如下：                  (6)          (7)则该层网络的输出，即一个句子的表示可通过下式得出：                      (8)步骤4、利用基于句子级别的注意力机制(sentence‑level attention)来充分学习具有相同实体对和实体关系句子的语义信息，并用该机制解决误标签的问题，得到网络的最终输出1)假设一个包含m个句子(具有同样实体对，同样实体关系)的集合，对于(sentence‑level attention，我们为集合中的每一个句子赋予一个可学习的权重，然后将这些句子编码成一个实数向量，和的计算方法如下：            (9)                 (10)                             (11)其中是用来评价每个句子和关系的匹配程度，表示点乘，是注意力权值矩阵，是一个询问向量2)然后利用向量预测最终的关系,其计算过程如下               (12)               (13)                   (14)其中，是关系表示矩阵，是关系类型总数，是网络的最终输出步骤5、关系判断1)这里，我们利用步骤4中的输出来判断实体对所属关系类型，我们定义条件概率来预测句子集合所属类别，计算过程如下：   (15)        (16)2)代价函数定义如下：    (17)其中是标签的真实值，是每个类别的估计概率，是一个L2 正则化参数。