[发明专利]一种基于注意力机制的序列标注联合抽取实体关系的方法

摘要

本发明公开了一种基于注意力机制的序列标注联合抽取实体关系的方法，先将海量的中文语句语料进行去噪等预处理，然后进行分词，对单个的词语转换成向量表示，这样作为双向长短时记忆网络的输入对单字进行编码。使用双向长短时记忆网络不仅可以学习长期和短期依赖信息，还可以同时将输入层的数据经过向前和向后两个方向推算，从而学习过去的上下文信息和未来的上下文信息，这对语句的序列标注是非常有益的。然后在解码层引入注意力机制，使得解码生成标注序列时可以得到前面编码阶段每个字符隐藏层的信息向量，充分利用输入序列携带的信息。最后通过softmax计算每个词的实体标签化概率，可有效得出最终的标注序列并进行实体及其对应关系的组合。

主权项

1.一种基于注意力机制的序列标注联合抽取实体关系的方法，其特征在于：该方法包括以下步骤：步骤1、获取开放领域的实体关系数据集并进行预处理，预处理的过程是将该数据集分为训练集和测试集两部分，这两部分都包含待处理的语句，对其中包含的语句进行分词处理，使得语句转化为单独的词；步骤2、将预处理后得到语句中的每个词经过嵌入层转换成向量表示，并输入到双向长短时记忆网络的编码层中进行编码；步骤3、将编码层得到的输出经过带注意力机制的长短时记忆网络解码，并在其中加入注意力机制；步骤4、经过softmax层基于标注预测向量输出实体标签化概率，补全和组合实体和关系，得到三元组。