[发明专利]一种基于同类实体替换的语句标注的方法及装置

说明书

本发明公开了一种基于同类实体替换的语句标注的方法及装置，该方法包括获取用户输入的语句，根据用户输入的语句和命名实体识别模型，确定出用户输入的语句对应的实体标签序列，根据实体标签序列中的实体标签，确定实体标签序列中的实体是否存在同类实体，若是，根据同类实体和所述实体标签序列，生成新的语句的实体标签序列。通过字符嵌入层、第一特征学习层、第二特征学习层和概率预测层识别的实体标签序列，相比于现有的长短时记忆模型与概率分布预测模型串行解决方案，识别的准确率有显著提高，通过同类实体的替换，可以有效提高新词的发现能力，扩展模型的训练集中的数据。

技术领域

本发明实施例涉及自然语言处理技术领域，尤其涉及一种基于同类实体替换的语句标注的方法及装置。

背景技术

命名实体识别为自然语言处理中的基础任务，奠定了下游实体链接、关系抽取、语义搜索和自动问答等一系列任务的基石。业界广泛应用长短时记忆模型与概率分布预测模型串行解决方案，但其模型训练需要依赖大量人工标注数据，特别在中文垂直领域应用中，模型的产业化应用效果完全依赖大量的领域知识进行训练。在实际应用中，系统的命名实体识别的表现力不仅要考虑准确率还要考虑召回率，而在垂直领域中，对不在训练集中或训练集中出现频率低的新词发现能力亟待提升。

发明内容

本发明实施例提供一种基于同类实体替换的语句标注的方法及装置，用以增加新词的发现能力，扩充训练集的数据。

第一方面，本发明实施例提供一种基于同类实体替换的语句标注的方法，包括：

获取用户输入的语句；

根据所述用户输入的语句和命名实体识别模型，确定出所述用户输入的语句对应的实体标签序列；所述命名实体识别模型包括字符嵌入层、第一特征学习层、第二特征学习层和概率预测层；所述命名实体识别模型是通过对实体标签序列训练集进行训练得到的；

根据所述实体标签序列中的实体标签，确定所述实体标签序列中的实体是否存在同类实体，若是，根据所述同类实体和所述实体标签序列，生成新的语句的实体标签序列。

上述技术方案中，通过字符嵌入层、第一特征学习层、第二特征学习层和概率预测层识别的实体标签序列，相比于现有的LSTM+CRF模型，识别的准确率有显著提高，通过同类实体的替换，可以有效提高新词的发现能力，扩展模型的训练集中的数据。

可选的，所述根据所述用户输入的语句和命名实体识别模型，确定出所述用户输入的语句对应的实体标签序列，包括：

通过所述字符嵌入层，将所述用户输入的语句转化为第一嵌入空间向量；

将所述第一嵌入空间向量输入至所述第一特征学习层，提取所述用户输入的语句的第一特征；

将所述用户输入的语句的第一特征输入至所述第二特征学习层，提取所述用户输入的语句的第二特征；

将所述用户输入的语句的第二特征输入至所述概率预测层，得到所述用户输入的语句对应的实体标签序列。

可选的，所述根据所述同类实体和所述实体标签序列，生成新的语句的实体标签序列，包括：

将所述实体标签序列中实体标签相同的实体替换为所述同类实体，作为所述新的语句的实体标签序列。

可选的，在生成新的语句的实体标签序列之后，还包括：

将所述新的语句的实体标签序列放入所述实体标签序列训练集，重新训练所述命名实体识别模型。

第二方面，本发明实施例提供一种基于同类实体替换的语句标注的装置，包括：

获取单元，用于获取用户输入的语句；