[发明专利]命名实体识别方法、装置及计算机可读存储介质

说明书

本发明涉及一种人工智能技术领域，揭露了一种命名实体识别方法，包括：接收由待识别的原始语句组成的第一文本数据，并对所述第一文本数据进行预处理得到文本向量数据；获取具有多层结构的神经实体推理机识别模型，并对所述神经实体推理机识别模型进行训练；将所述文本向量数据输入训练后的所述神经实体推理机识别模型进行训练得到命名实体集合；将所述文本向量数据和所述命名实体集合输入所述神经实体推理机识别模型中的推理机进行推理，得到命名实体。本发明还提出一种命名实体识别装置以及一种计算机可读存储介质。本发明可以实现精准高效的命名实体识别。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种文本数据集中的命名实体识别方法、装置及计算机可读存储介质。

背景技术

随着当今互联网的发展，人们生活中的信息量也越来越多，而其中大部分是文本信息。因此，如何对文本信息进行处理，识别出其中的人名、机构名、地名等命名实体，从而简化人们对文本信息的提取是一大难题。然而，目前识别实体的主要方法是基于传统神经实体推理方法，但由于此方法过于依赖局部和底层的语言特征，当出现有歧义的说法或者少见的人名时，这类方法往往会遇到困难。

发明内容

本发明提供一种命名实体识别方法、装置及计算机可读存储介质，其主要目的在于对原始文本数据集进行深度学习从而得到命名实体的方法。

为实现上述目的，本发明提供的一种命名实体识别方法，包括：

接收由待识别的原始语句组成的第一文本数据，并对所述第一文本数据进行预处理得到文本向量数据；

获取具有多层结构的神经实体推理机识别模型；

将所述文本向量数据输入所述神经实体推理机识别模型进行训练得到命名实体集合；

将所述文本向量数据和所述命名实体集合输入所述神经实体推理机识别模型中的推理机进行推理，得到命名实体。

优选地，所述神经实体推理机识别模型的每一层结构通过Bi-LSTM模型通过Bi-LSTM模型进行编码，并通过解码器进行解码，，解码完成后的数据进入下一层结构再次进行编码和解码。

优选地，所述将所述文本向量数据输入所述神经实体推理机识别模型进行训练得到命名实体集合包括：

输入经过预处理的所述文本向量数据；

利用所述Bi-LSTM模型对所述文本向量数据进行编码，得到编码表示序列和初始命名实体，将所述初始命名实体加入候选池；

将所述编码表示序列和所述候选池中的所述初始命名实体输入所述推理机中进行处理，得到引用信息；

将所述编码表示序列和所述引用信息输入解码器，得到预测标签，根据所述预测标签更新所述候选池，得到所述命名实体集合。

优选地，所述解码器包括：

其中，X表示经过上述预处理的所述文本向量数据，y表示经过所述神经实体推理机识别模型训练后得到的所述预测标签，yⁱ表示所述神经实体推理机识别模型中第i层的预测标签，x_t表示在t时刻文本向量x的值。

优选地，所述对所述第一文本数据进行预处理得到文本向量数据包括：

对所述第一文本数据进行分词操作得到第二文本数据，对所述第二文本数据进行去停用词操作得到第三文本数据，对所述第三文本数据进行去重操作得到第四文本数据；

对所述第四文本数据利用TF-IDF算法进行词向量形式转化，得到所述文本向量数据。