[发明专利]基于预训练模型的信息抽取方法、装置、设备及存储介质

说明书

本说明书实施例提供了一种基于预训练模型的信息抽取方法、装置、设备及存储介质，该方法包括：获取待处理金融文本；根据预设的信息抽取模型从所述待处理金融文本中抽取目标要素；所述信息抽取模型通过训练上下文预训练模型得到。说明书实施例可以提高信息抽取模型的预测准确性。

技术领域

本说明书涉及自然语言处理技术领域，尤其是涉及一种基于预训练模型的信息抽取方法、装置、设备及存储介质。

背景技术

信息抽取(Information Extraction，IE)的工作主要是从非结构化的文本中抽取结构化的信息，是自然语言处理(Natural LanguageProcessing，NLP)中非常重要的一个子领域。在进行信息抽取时需要先识别出要抽取的命名实体识别(NamedEntitiesRecognitio，NER)，因此NER是信息抽取中必不可少的组成部分，其目的是识别语料(文本)中人名、地名、组织机构名等命名实体。

目前，现有的信息抽取模型在预训练时，一般采用词嵌入(Word Embedding)的词向量处理方式。然而，基于这种方式所获得的词向量缺乏变化，尤其是在多义词上存在很大的局限性；多义词在嵌入(Embedding)矩阵中对应一个固定的向量，但在实际上，不同词语在不同语境下往往有不同含义。如此，容易导致训练出的信息抽取模型缺少泛化能力(即信息抽取模型在面对新鲜样本时适应性较差)，从而影响了信息抽取模型的预测准确性。

发明内容

本说明书实施例的目的在于提供一种基于预训练模型的信息抽取方法、装置、设备及存储介质，以提高信息抽取模型的预测准确性。

为达到上述目的，一方面，本说明书实施例提供了一种基于预训练模型的信息抽取方法，包括：

获取待处理金融文本；

根据预设的信息抽取模型从所述待处理金融文本中抽取目标要素；所述信息抽取模型通过训练上下文预训练模型得到。

在本说明书一实施例中，所述信息抽取模型通过以下步骤训练得到：

对采集到的目标金融文本进行预处理；

对预处理后的目标金融文本进行多维度标注，生成包含多维度标注的标签文本语句；

基于所述上下文预训练模型中的Transformer编码器，将所述标签文本语句进行向量化，并据此形成所述标签文本语句的多维特征矩阵；

根据所述多维特征矩阵训练所述上下文预训练模型，获得信息抽取模型。

在本说明书一实施例中，所述对采集到的目标金融文本进行预处理，包括：

对采集到的目标金融文本进行数据清洗；

确认清洗后的目标金融文本的长度是否等于指定长度；

当所述目标金融文本的长度大于所述指定长度时，按照所述指定长度对所述目标金融文本进行分片，以获得定长语句；

当所述目标金融文本的长度小于所述指定长度，或所述目标金融文本被分片后的剩余长度小于所述指定长度时，对所述目标金融文本或所述剩余长度进行边缘填充，以使其长度等于所述指定长度。

在本说明书一实施例中，所述对预处理后的目标金融文本进行多维度标注，包括：

基于BIO标注方法对所述定长语句进行多维度标注。

在本说明书一实施例中，所述根据所述多维特征矩阵训练所述上下文预训练模型，包括：

利用所述多维特征矩阵对所述上下文预训练模型进行训练，并利用条件随机场层对上下文预训练模型的输出进行约束；

计算每训练轮次后上下文预训练模型的损失函数值；