[发明专利]地理命名实体识别模型训练方法及地理命名实体识别方法

权利要求书

1.一种地理命名实体识别模型训练方法，其特征在于，包括以下步骤:

获取第一网络文本数据，并根据所述第一网络文本数据对初始地理命名实体语义模型进行增量预训练，得到第一地理命名实体语义模型；

对所述第一网络文本数据进行标注，并根据标注结果构建地理命名实体识别数据集；

根据所述第一地理命名实体语义模型组建初始地理命名实体识别模型，并利用所述地理命名实体识别数据集对所述初始地理命名实体识别模型进行微调，得到目标地理命名实体识别模型。

2.根据权利要求1所述的一种地理命名实体识别模型训练方法，其特征在于，所述初始地理命名实体语义模型包括基于多头自注意力机制的语义特征提取模块和混淆词校正模块，其中，所述基于多头自注意力机制的语义特征提取模块包括多头自注意力层、残差网络和全连接前馈神经网络，并以Leaky ReLU为激活函数，所述混淆词校正模块以BERT预训练语言模型中的掩码语言模型为基础，设置基于混淆词替换的全词动态掩码策略。

3.根据权利要求2所述的一种地理命名实体识别模型训练方法，其特征在于，所述残差网络由若干残差单元组成，单个残差单元表示为：

self-attention^l＝self-attention^l-1+F(self-attention^l-1)

其中，self-attention^l和self-attention^l-1分别表示多头自注意力第l层和第l-1层的输出，F表示多头自注意力的处理函数。

4.根据权利要求2所述的一种地理命名实体识别模型训练方法，其特征在于，所述全连接前馈神经网络连接在所述多头自注意层的输出后，所述基于多头自注意力机制的语义特征提取模块还包括对每一层的输出进行层归一化。

5.根据权利要求2所述的一种地理命名实体识别模型训练方法，其特征在于，所述基于混淆词替换的全词动态掩码策略由动态掩码策略、全词掩码策略和基于混淆词替换的掩码策略组成，其中，所述动态掩码策略为将每个模型输入以N种不同的方式被掩码，所述全词掩码策略为屏蔽完整的地理命名实体，所述基于混淆词替换的掩码策略为采用混淆词替换分词标记。

6.根据权利要求1所述的一种地理命名实体识别模型训练方法，其特征在于，所述对所述第一网络文本数据进行标注，并根据标注结果构建地理命名实体识别数据集，包括：

将所述第一网络文本数据中每个地理命名实体的开始字符标记为B-Entity、中间字符标记为I-Entity，所述第一网络文本数据中的其余字符则标记为O，得到第一地理命名实体数据集；

采集中文细粒度命名实体识别数据集，并根据所述第一网络文本数据的标注方法对所述中文细粒度命名实体识别数据集进行标注，得到第二地理命名实体数据集；

将所述第一地理命名实体数据集与所述第二地理命名实体数据集融合，得到地理命名实体识别数据集。

7.根据权利要求1所述的一种地理命名实体识别模型训练方法，其特征在于，所述根据所述第一地理命名实体语义模型组建初始地理命名实体识别模型，包括：

在所述第一地理命名实体语义模型后添加任务式的神经网络结构组成初始地理命名实体识别模型，其中，所述第一地理命名实体语义模型为所述初始地理命名实体识别模型的编码器，所述任务式的神经网络结构为所述初始地理命名实体识别模型的解码器。

8.一种地理命名实体识别方法，其特征在于，包括以下步骤：

获取第二网络文本数据,并对所述第二网络文本数据进行清洗得到目标网络文本数据；

将所述目标网络文本数据输入地理命名实体识别模型中进行训练，得到所述初始网络文本数据对应的地理命名实体识别结果，所述地理命名实体识别模型是根据权利要求1-7所述的方法训练得到的。