[发明专利]一种基于概率图的实体联合标注关系抽取方法和系统

权利要求书

1.一种基于概率图的实体联合标注关系抽取方法，其特征在于，包括：接收待进行实体联合标注关系抽取的文本；

进行特征提取：利用预训练的BERT编码器生成所述文本词嵌入，对所述词嵌入进行字词混合编码及位置编码，提取文本特征；

进行实体抽取：将实体抽取任务转为序列标注任务，将所述序列输入第一模型中得到第一输出特征，对所述第一输出特征激活后得到预测序列，通过设定的阈值得到实体的开始和结束位置；根据就近原则对主体和客体进行匹配，标记相近的实体头部和尾部进行截取；其中，所述第一模型包括依次连接的第一网络、第二网络和第三网络；

所述第一网络为两层双向长短期记忆网络，所述第二网络为一层一维卷积神经网络，所述第三网络为两层全连接层；

所述将实体抽取任务转为序列标注任务，将所述序列输入第一模型中得到第一输出特征的方法包括：所述序列输入到两层双向长短期记忆网络，提取到词表征，然后进入所述一层一维卷积神经网络，然后再进入所述两层全连接层，得到第一输出特征；

进行关系分类：随机抽取实体对，并根据所述第一模型的中间特征，生成第二输出特征，将所述第二输出特征输入第二模型中得到对应分类关系；其中，所述第二模型包括依次连接的第四网络、第五网络和第六网络；

所述第四网络为两层一维卷积神经网络，所述第五网络为一层膨胀门卷积层，所述第六网络为一层全连接层；

所述第一模型的中间特征为所述第一网络提取的词表征；

所述随机抽取实体对，并根据所述第一模型的中间特征，生成第二输出特征的方法包括：对标注好的序列进行解析，得到所有候选主体和客体；然后随机选取一个主体和客体，重用所述第一网络提取的词表征，并将选取的主体和客体对应的词嵌入附加到所述词表征中，得到第一表征；最后将所述第一表征进行最大池化操作，并拼接到第一表征中，得到第二输出特征。

2.根据权利要求1所述的方法，其特征在于，所述字词混合编码的方法包括：输入以字为单位的文本序列得到字向量序列，通过一个预训练好的Word2Vec模型来提取对应的词向量；

将每个词的词向量经过一个矩阵变换到跟字向量一样的维度加上该字的字向量。

3.根据权利要求1所述的方法，其特征在于，所述位置编码采用正弦位置编码。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述将实体抽取任务转为序列标注任务包括：

解析输入句子的标签，将句子中存在的多对实体关系中的主体和客体的头部和尾部分别记录在一个列表中；其中，主体标记为sub，客体标记为ob，标注的同时判断主体和客体的部分是否重合，如果重合则添加重合标记overlap；

将所有句子转化为序列，然后将实体抽取任务转化为序列标注任务；

利用预训练BERT编码器对词进行编码，对编码作最大池化并拼接到原始特征上，得到第一输入，其作为第一网络的输入。

5.根据权利要求1所述的方法，其特征在于，在对第一模型进行训练时，将原序列和预测序列的误差作为损失进行模型的训练；

在对第二模型进行训练时，原始实体对之间的关系和预测关系的误差作为损失进行模型的训练。

6.一种基于概率图的实体联合标注关系抽取系统，根据权利要求1-5任一项所述的基于概率图的实体联合标注关系抽取方法进行实体联合标注关系抽取，其特征在于，包括：

数据接收单元，用于接收待进行实体联合标注关系抽取的文本；

特征提取单元，用于进行特征提取：利用预训练的BERT编码器生成所述文本词嵌入，对所述词嵌入进行字词混合编码及位置编码，提取文本特征；

实体抽取单元，用于进行实体抽取：将实体抽取任务转为序列标注任务，将所述序列输入第一模型中得到第一输出特征，对所述第一输出特征激活后得到预测序列，通过设定的阈值得到实体的开始和结束位置；根据就近原则对主体和客体进行匹配，标记相近的实体头部和尾部进行截取；其中，所述第一模型包括依次连接的第一网络、第二网络和第三网络；

关系分类单元，进行关系分类：随机抽取实体对，并根据所述第一模型的中间特征，生成第二输出特征，将所述第二输出特征输入第二模型中得到对应分类关系；其中，所述第二模型包括依次连接的第四网络、第五网络和第六网络。