[发明专利]语句中实体的标注方法、装置、设备以及存储介质

说明书

本发明涉及人工智能技术，提供了一种语句中实体的标注方法、装置、设备以及存储介质，其中，方法包括：通过获取指定类别的实体词典，以及待识别的语句，对待识别的语句中的第一词语进行词语向量表示，再检测各词语向量与所述指定类别的相似，根据相似度判定所述语句中属于所述指定类别的实体，并对所述语句中对应的所述第一词语进行标注的方式提高了对待识别语句中实体的准确率，另外，本申请可以适用不同的指定类别，也可以检测不同的语句，因此适用的场景相较而言更广。

技术领域

本发明涉及人工智能领域，特别涉及一种语句中实体的标注方法、装置、设备以及存储介质。

背景技术

实体识别是自然语言处理领域的一项重要任务，是指识别文本中具有特定意义的实体，例如人名、歌手名、地名等，目前对于实体识别的方式一般都是通过自定义实体词典进行识别，这种识别方式是将实体识别转化为字符串匹配问题，当文本中遇到实体词典中的词，便将其识别，但是这种方法准确率较低，适用的场景有限。

发明内容

本发明的主要目的为提供一种语句中实体的标注方法、装置、设备以及存储介质，旨在解决自定义实体词典识别准确率较低的问题。

本发明提供了一种语句中实体的标注方法，包括：

获取指定类别的实体词典，以及待识别的语句；

将所述语句中的各个词语与所述实体词典中各个实体进行比对，得到相同的第一词语；

将具有所述第一词语的语句输入至预训练语言模型中，对所述第一词语进行词语向量表示，得到所述语句中各个第一词语分别对应的词语向量；

将各个词语向量进行聚类处理，得到各个词语向量分别对应的类别；

检测同一个第一词语的词语向量是否具有多个类别；

若具有多个类别，则检测各词语向量与所述指定类别对应的类别向量的相似度；

根据相似度判定所述语句中属于所述指定类别的实体，并对所述语句中对应的所述第一词语进行标注。

进一步地，所述将具有所述第一词语的语句输入至预训练语言模型中，对所述第一词语进行词语向量表示，得到所述语句中各个第一词语分别对应的词语向量之前，还包括：

从第三方程序中获取所述第一词语的标注信息；

检测提取到的第一词语的标注信息是否具有与所述指定类别对应的信息相歧的信息；

从所述语句中提取具有所述相歧的信息的目标实体执行所述将具有所述第一词语的语句输入至预训练语言模型中，对所述第一词语进行词语向量表示，得到所述语句中各个第一词语分别对应的词语向量的步骤。

进一步地，所述根据相似度判定所述语句中属于所述指定类别的实体，并对所述语句中对应的所述第一词语进行标注，包括：

将判定为实体的所述第一词语添加标签，形成指定实体；

将所述指定实体替换对应所述语句中判定为所述指定类别的所述第一词语，得到目标语句；

对所述目标语句中的所述指定实体按照所述指定类别的标注方法进行标注。

进一步地，所述检测同一个第一词语的词语向量是否具有多个类别，包括：

获取具有所述指定类别中的实体的目标语句；

剔除所述目标语句中的实体，并对所述目标语句进行标准化处理，得到标准化语句；其中，所述标准化处理为剔除所述目标语句中的标点符号、统一语种和删除不相关词句，所述不相关词句包括问候语和形容词以及脏词；

对所述标准化语句进行分词处理，得到多个对应的多个标准词语；