[发明专利]地理命名实体识别模型训练方法及地理命名实体识别方法

说明书

本申请公开了地理命名实体识别模型训练方法及地理命名实体识别方法，涉及信息抽取技术领域，地理命名实体识别模型训练方法包括：获取第一网络文本数据，并根据第一网络文本数据对初始地理命名实体语义模型进行增量预训练，得到第一地理命名实体语义模型；对第一网络文本数据进行标注，并根据标注结果构建地理命名实体识别数据集；根据第一地理命名实体语义模型组建初始地理命名实体识别模型，并利用地理命名实体识别数据集对初始地理命名实体识别模型进行微调，得到目标地理命名实体识别模型。本方法使用深度学习迁移的方式，使得地理命名实体识别模型不用再单独训练，而是在原来地理命名实体语义模型的基础上进行增量预训练，大大节省了时间。

技术领域

本申请涉及信息抽取技术领域，尤其涉及地理命名实体识别模型训练方法及地理命名实体识别方法。

背景技术

命名实体识别(Named Entity Recognition，NER)是一种在自然语言处理领域广泛应用的技术,它旨在从文本中识别并提取出命名实体，并将其分类到预定义的实体类别中，其中，命名实体通常是指具有特定名称或标识符的实体，如人名、地名、组织机构名、日期、时间、货币等。

泛在网络文本数据是指从互联网上收集的文本数据，目前这种数据的命名实体识别方法通常有基于地理命名实体数据库的地理命名实体识别方法、基于机器学习的地理命名实体识别方法以及基于深度神经网络的地理命名实体识别方法,但基于地理命名实体数据库的地理命名实体识别方法的前提是有一个完备的地理命名实体数据库，且该方法会忽略一些未出现在地理命名实体数据库中的地理命名实体信息；基于机器学习的地理命名实体识别方法则需要大量的标注数据，标注数据的获取和处理需要花费大量的人力和时间，且此类方法对于特征提取的质量非常敏感，如果提取的特征不足或者不合理，会影响任务的准确率；基于深度神经网络的地理命名实体识别方法同样需要大量标记数据。

发明内容

本申请提供的地理命名实体识别模型训练方法及地理命名实体识别方法，旨在识别泛在社交媒体数据上的地理命名实体，并在识别过程中解决这类数据存在的多样性、数据量大和噪声性问题。

为实现上述目的，本申请采用以下技术方案：

本申请的一种地理命名实体识别模型训练方法，包括以下步骤：

获取第一网络文本数据，并根据所述第一网络文本数据对初始地理命名实体语义模型进行增量预训练，得到第一地理命名实体语义模型；

对所述第一网络文本数据进行标注，并根据标注结果构建地理命名实体识别数据集；

根据所述第一地理命名实体语义模型组建初始地理命名实体识别模型，并利用所述地理命名实体识别数据集对所述初始地理命名实体识别模型进行微调，得到目标地理命名实体识别模型。

作为优选，所述初始地理命名实体语义模型包括基于多头自注意力机制的语义特征提取模块和混淆词校正模块，其中，所述基于多头自注意力机制的语义特征提取模块包括多头自注意力层、残差网络和全连接前馈神经网络，并以Leaky ReLU为激活函数，所述混淆词校正模块以BERT预训练语言模型中的掩码语言模型为基础，设置基于混淆词替换的全词动态掩码策略。

作为优选，所述残差网络由若干残差单元组成，单个残差单元表示为：

self-attention^l＝self-attention^l-1+F(self-attention^l-1)

其中，self-attention^l和self-attention^l-1分别表示多头自注意力第l层和第l-1层的输出，F表示多头自注意力的处理函数。

作为优选，所述全连接前馈神经网络连接在所述多头自注意层的输出后，所述基于多头自注意力机制的语义特征提取模块还包括对每一层的输出进行层归一化。