[发明专利]一种基于MRC框架的实体抽取方法

权利要求书

1.一种基于MRC框架的实体抽取方法，其特征在于，包括以下步骤：

(1)根据设备维护手册获取目标句子，根据实体类型的定义生成相应的问题，将所述目标句子和所述问题进行拼接以获取语料；

(2)采用分词工具对所述步骤(1)获得的语料进行分词，并对分词后的语料进行编码，将编码后的语料输入BERT模型，以获取目标句子的词嵌入表示；

(3)根据所述步骤(2)获取的目标句子的词嵌入表示获取句子级别特征；

(4)将所述步骤(3)获取的句子级别特征按照权重结合到所述步骤(2)获取的目标句子的词嵌入表示中，以获取新的目标句子词嵌入；根据新的目标句子词嵌入预测可能作为开端的词，以获取词头集合；根据新的目标句子词嵌入预测可能作为结尾的词，以获取词尾集合；并将词头集合和词尾集合中的词进行匹配；

(5)根据所述步骤(4)中匹配后的结果完成实体抽取。

2.根据权利要求1所述的基于MRC框架的实体抽取方法，其特征在于，所述步骤(2)中，分词工具为WordpieceTokenizer；通过bert-embedding对分词后的语料进行编码。

3.根据权利要求1所述的基于MRC框架的实体抽取方法，其特征在于，所述步骤(3)中，根据所述步骤(2)获取的目标句子的词嵌入表示获取句子级别特征具体为：将所述步骤(2)获取的目标句子的词嵌入表示通过多头注意力机制层，并将多头注意力机制层的输出进行最大池化处理以获取目标句子嵌入，根据目标句子嵌入预测句子类型。

4.根据权利要求3所述的基于MRC框架的实体抽取方法，其特征在于，所述目标句子嵌入为句子级别特征。

5.根据权利要求3所述的基于MRC框架的实体抽取方法，其特征在于，所述根据目标句子嵌入预测句子类型具体为：将目标句子嵌入通过线性映射层以获取未归一化的对数概率；将该对数概率进行softmax函数归一化处理，以获取句子类型的预测分布，根据该预测分布预测句子类型；

根据所述预测分布和实际分布之间的交叉熵获取句子类型预测的损失函数

6.根据权利要求1所述的基于MRC框架的实体抽取方法，其特征在于，所述步骤(4)中，将所述步骤(3)获取的句子级别特征按照权重结合到所述步骤(2)获取的目标句子的词嵌入表示中的方法具体为：首先根据句子类型和实体类型同时出现的概率计算不同句子类型和实体类型之间的相关程度矩阵；然后将相关程度矩阵对应的值作为初始化权重；最后根据初始化权重将目标句子嵌入加到每个目标句子的词嵌入表示中。

7.根据权利要求1所述的基于MRC框架的实体抽取方法，其特征在于，所述步骤(4)中，所述获取词头集合的方法具体为：首先将目标句子词嵌入通过线性映射层，得到未归一化的对数概率；然后将未归一化的对数概率进行softmax函数归一化处理，得到各词预测为实体开端的概率分布；最后选取作为实体开端的概率大于0.5的词为可能作为开端的词集合，即为词头集合；

根据预测的所述实体开端的概率分布和实际分布之间的交叉熵获取开端坐标预测的损失函数

8.根据权利要求1所述的基于MRC框架的实体抽取方法，其特征在于，所述步骤(4)中，所述获取词尾集合的方法具体为：首先将目标句子词嵌入通过线性映射层，得到未归一化的对数概率；然后将未归一化的对数概率进行softmax函数归一化处理，得到各词预测为实体结尾的概率分布；最后选取作为实体结尾的概率大于0.5的词为可能作为结尾的词集合，即为词尾集合；

根据预测的所述实体结尾的概率分布和实际分布之间的交叉熵获取结尾坐标预测的损失函数