[发明专利]命名实体识别模型训练方法、命名实体识别方法及装置

说明书

本发明公开一种命名实体识别模型训练方法、命名实体识别方法及装置。训练方法包括：对语料样本进行预处理，得到字符序列样本，并对字符序列样本标注命名实体标签，得到训练字符序列；基于第一双向语言模型和第一自注意力机制模型分别对训练字符序列进行预训练，获得字特征向量和字权重向量并进行融合获得第二上下文向量；基于第二双向语言模型和第二自注意力机制模型分别对训练字符序列进行预训练，获得词特征向量和词权重向量并进行融合获得第二上下文向量；使用第一上下文向量和第二上下文向量对依次连接的双向神经网络和条件随机场进行训练，得到命名实体识别模型。本发明有效提升了命名实体识别模型的训练效果，提高了命名实体的识别准确度。

技术领域

本发明涉及自然语言处理领域，尤其涉及一种命名实体识别模型训练方法、命名实体识别方法及装置。

背景技术

命名实体识别(Named Entities Recognition，NER)是自然语言处理(NaturalLanguage Processing，NLP)的一个基础任务，其目的是识别输入文本中人名、地名、组织机构名或根据特定需求划分的命名实体，如‘红富士苹果’和‘苹果256G内存手机’中的‘苹果’的不同含义，前面的‘苹果’属于商品，后面的“苹果”属于品牌。

目前，命名实体识别技术可以粗略分为基于规则和基于统计两类方法，这两种方式各有一定的缺陷。具体来说，基于规则的命名实体识别在处理新词方面有很大局限性，不太适用于商品标签识别这种有着较大规模新词和一词多义的场景下。而基于统计的识别方法则建立在统计模型之上，利用一系列的统计理论和数学模型来进行命名实体识别，但模型特征的提取和特定语料的选取都过于依赖人工，特别需要专业知识和工程经验，语料库的质量将会影响最终的识别效果。

发明内容

为了解决上述背景技术中提到的技术问题，本发明提供了一种命名实体识别模型训练方法、命名实体识别方法及装置，通过利用统计方法中的双向语言模型和自注意力机制模型更好地挖掘出不同语境下的语义表示，并通过利用双向神经网络和条件随机场进行训练，能够有效地提升命名实体识别模型的适用广度和训练效果，从而提高命名实体的识别准确度。

本发明实施例提供的具体技术方案如下：

第一方面，本发明提供一种命名实体识别模型训练方法，所述方法包括：

对语料样本进行预处理，得到字符序列样本，并对所述字符序列样本标注命名实体标签，得到训练字符序列；

基于预设的第一双向语言模型和第一自注意力机制模型分别对所述训练字符序列进行预训练，获得所述训练字符序列对应的字特征向量和字权重向量；

基于预设的第二双向语言模型和第二自注意力机制模型分别对所述训练字符序列进行预训练，获得所述训练字符序列对应的词特征向量和词权重向量；

对所述训练字符序列对应的字特征向量和字权重向量进行融合获得所述训练字符序列的第一上下文向量；

对所述训练字符序列对应的词特征向量和词权重向量进行融合获得所述训练字符序列的第二上下文向量；

使用所述训练字符序列的第一上下文向量和第二上下文向量对依次连接的双向神经网络和条件随机场进行训练，得到命名实体识别模型。

进一步地，所述对语料样本进行预处理，得到字符序列样本，并对所述字符序列样本标注命名实体标签，得到训练字符序列，包括：

对所述语料样本进行分词处理，获得多个分词；

对所述多个分词分别分解出所有单个字符，得到所述字符序列样本；

根据BMEO标注规则对所述字符序列样本进行标注对应的命名实体标签，获得所述训练字符序列。