[发明专利]实体词提取模型的训练方法、装置、设备和存储介质

说明书

本申请提出一种实体词提取模型的训练方法、装置、设备和存储介质，其中，方法包括：获取待训练的实体词提取模型；采用经过掩码的第一训练语料作为输入语料，对实体词提取模型中的Longformer子模型进行第一训练，以使经过第一训练的Longformer子模型输出语义特征；采用经过实体词的词性信息标注的第二训练语料作为输入语料，对实体词提取模型中经过第一训练的Longformer子模型，以及CRF子模型进行第二训练，以使经过第二训练的CRF子模型根据经过第二训练的Longformer子模型所输出的语义特征输出实体词。由此，将Longformer与CRF模型结合，构造实体词提取模型，用于进行长文本的实体词提取，而无需将长文本进行切分或分割后进行实体词识别，可以避免丢失信息，从而提升实体词提取结果的可靠性。

技术领域

本申请涉及深度学习技术领域，尤其涉及一种实体词提取模型的训练方法、装置、设备和存储介质。

背景技术

实体词识别或提取，是信息检索、问答系统、句法分析、机器翻译等应用领域的重要基础任务。目前，对于长文本的实体词提取，是通过将长文本切分为若干个短文本片段，分别针对各短文本片段进行实体词提取。然而，将长文本切分后提取实体词的方式，容易导致不同短文本片段之间无法进行交互，从而造成信息丢失的情况，降低实体词提取结果的可靠性。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

本申请提出一种实体词提取模型的训练方法、装置、设备和存储介质，以实现将Longformer与CRF模型结合，构造实体词提取模型，用于进行长文本的实体词提取，而无需将长文本进行切分或分割后进行实体词识别，可以避免丢失信息，从而提升实体词提取结果的可靠性，用于解决现有技术中，将长文本切分后提取实体词的方式，容易导致不同短文本片段之间无法进行交互，从而造成信息丢失的情况，降低实体词提取结果的可靠性的技术问题。

本申请第一方面实施例提出了一种实体词提取模型的训练方法，包括：

获取待训练的实体词提取模型；其中，所述实体词提取模型包括长文本编码Longformer子模型和条件随机场CRF子模型；

采用经过掩码的第一训练语料作为输入语料，对所述实体词提取模型中的Longformer子模型进行第一训练，以使经过第一训练的所述Longformer子模型输出语义特征；

采用经过实体词的词性信息标注的第二训练语料作为输入语料，对所述实体词提取模型中所述经过第一训练的Longformer子模型，以及所述CRF子模型进行第二训练，以使经过第二训练的CRF子模型根据经过第二训练的Longformer子模型所输出的语义特征输出实体词。

本申请实施例的实体词提取模型的训练方法，通过获取待训练的实体词提取模型；其中，实体词提取模型包括长文本编码Longformer子模型和条件随机场CRF子模型；采用经过掩码的第一训练语料作为输入语料，对实体词提取模型中的Longformer子模型进行第一训练，以使经过第一训练的Longformer子模型输出语义特征；采用经过实体词的词性信息标注的第二训练语料作为输入语料，对实体词提取模型中经过第一训练的Longformer子模型，以及CRF子模型进行第二训练，以使经过第二训练的CRF子模型根据经过第二训练的Longformer子模型所输出的语义特征输出实体词。由此，将Longformer与CRF模型结合，构造实体词提取模型，用于进行长文本的实体词提取，而无需将长文本进行切分或分割后进行实体词识别，可以避免丢失信息，从而提升实体词提取结果的可靠性。

本申请第二方面实施例提出了一种实体词提取模型的训练装置，包括：

获取模块，用于获取待训练的实体词提取模型；其中，所述实体词提取模型包括长文本编码Longformer子模型和条件随机场CRF子模型；