[发明专利]命名实体识别方法、装置、设备及介质

权利要求书

1.一种命名实体识别模型训练方法，其特征在于，所述命名实体识别模型用于识别目标领域的文本语料数据的命名实体，所述方法包括：

获取第一训练数据集和第二训练数据集，其中，所述第一训练数据集包括至少一种领域的文本语料数据，所述第二训练数据集包括所述目标领域的文本语料数据；

对所述第一训练数据集进行字符级预处理、实体级预处理、短语级预处理，得到第三训练数据集，以及基于所述第一训练数据集构建句子正样本和句子负样本，得到第四训练数据集；

利用所述第三训练数据集和所述第四训练数据集进行训练，得到Transformer语言模型；

对所述第二训练数据集进行字符级预处理，得到第五训练数据集；

将所述第五训练数据集中的文本语料数据输入到所述Transformer语言模型，得到标注序列，根据所述标注序列训练条件随机场CRF模型，得到所述命名实体识别模型。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一训练数据集进行字符级预处理、实体级预处理、短语级预处理，得到第三训练数据集，包括：

对所述第一训练数据集中的文本语料数据进行字符级、实体级、短语级三种不同层级的切分；

当不同层级切分后的文本语料数据的字符数不满足预设字符数时，调整不同层级切分后的文本语料数据的字符数满足所述预设字符数；

随机选择字符级、实体级、短语级对应层级中满足所述预设字符数的文本语料数据中预设比例的字符数，并将选中的字符数通过掩码Mask进行遮盖，得到所述第三训练数据集。

3.根据权利要求1所述的方法，其特征在于，所述基于所述第一训练数据集构建句子正样本和句子负样本，得到第四训练数据集，包括：

根据所述第一训练数据集中的文本语料数据构建句子对正样本和句子对负样本，其中，所述句子对正样本包括具有上下文关系的两个句子，所述句子对负样本包括不具有上下文关系的两个句子；

当所述句子对正样本和所述句子对负样本中句子的字符数不满足预设字符数时，调整所述句子对正样本和所述句子对负样本中句子的字符数满足所述预设字符数；

连接满足所述预设字符数的句子对正样本中的两个句子，得到所述句子正样本，以及连接满足所述预设字符数的句子对负样本中的两个句子，得到所述句子负样本。

4.根据权利要求2所述的方法，其特征在于，所述利用所述第三训练数据集和所述第四训练数据集进行训练，包括：

基于所述第三训练数据集中遮盖后的字符级的文本语料数据、遮盖后的实体级的文本语料数据、遮盖后的短语级的文本语料数据以及所述第四训练数据集中的句子正样本和句子负样本进行训练。

5.根据权利要求1所述的方法，其特征在于，所述对所述第二训练数据集进行字符级预处理，得到第五训练数据集，包括：

标注所述第二训练数据集中的文本语料数据；

对标注后的文本语料数据进行字符级的切分，得到所述第五训练数据集。

6.根据权利要求1-5任意一项所述的方法，其特征在于，在得到所述命名实体识别模型之后，所述方法还包括：

利用所述命名实体识别模型识别待识别数据，得到命名实体识别结果。

7.一种命名实体识别方法，其特征在于，所述方法包括：

获取待识别数据；

利用命名实体识别模型识别待识别数据，得到命名实体识别结果，其中，所述命名实体识别模型基于权利要求1-5任意一项所述的命名实体识别模型训练方法得到。