[发明专利]语句中实体的标注方法、装置、设备以及存储介质

权利要求书

1.一种语句中实体的标注方法，其特征在于，包括：

获取指定类别的实体词典，以及待识别的语句；

将所述语句中的各个词语与所述实体词典中各个实体进行比对，得到相同的第一词语；

将具有所述第一词语的语句输入至预训练语言模型中，对所述第一词语进行词语向量表示，得到所述语句中各个第一词语分别对应的词语向量；

将各个词语向量进行聚类处理，得到各个词语向量分别对应的类别；

检测同一个第一词语的词语向量是否具有多个类别；

若具有多个类别，则检测各词语向量与所述指定类别对应的类别向量的相似度；

根据相似度判定所述语句中属于所述指定类别的实体，并对所述语句中对应的所述第一词语进行标注。

2.如权利要求1所述的语句中实体的标注方法，其特征在于，所述将具有所述第一词语的语句输入至预训练语言模型中，对所述第一词语进行词语向量表示，得到所述语句中各个第一词语分别对应的词语向量之前，还包括：

从第三方程序中获取所述第一词语的标注信息；

检测提取到的第一词语的标注信息是否具有与所述指定类别对应的信息相歧的信息；

从所述语句中提取具有所述相歧的信息的目标实体执行所述将具有所述第一词语的语句输入至预训练语言模型中，对所述第一词语进行词语向量表示，得到所述语句中各个第一词语分别对应的词语向量。

3.如权利要求1所述的语句中实体的标注方法，其特征在于，所述根据相似度判定所述语句中属于所述指定类别的实体，并对所述语句中对应的所述第一词语进行标注，包括：

将判定为实体的所述第一词语添加标签，形成指定实体；

将所述指定实体替换对应所述语句中判定为所述指定类别的所述第一词语，得到目标语句；

对所述目标语句中的所述指定实体按照所述指定类别的标注方法进行标注。

4.如权利要求1所述的语句中实体的标注方法，其特征在于，所述检测同一个第一词语的词语向量是否具有多个类别，包括：

获取具有所述指定类别中的实体的目标语句；

剔除所述目标语句中的实体，并对所述目标语句进行标准化处理，得到标准化语句；其中，所述标准化处理为剔除所述目标语句中的标点符号、统一语种和删除不相关词句，所述不相关词句包括问候语和形容词以及脏词；

对所述标准化语句进行分词处理，得到多个对应的多个标准词语；

统计各个所述标准词语的词频；

根据统计结果按照词频大小的顺序选取设定个数的标准词语，得到话题词集；

将所述标准词语进行向量化，得到对应的各个所述标准词语对应的标准向量；

根据所述话题词集的各所述标准向量计算所述话题词集与所述词语向量之间的相似度，作为所述词语向量与所述指定类别的相似度。

5.如权利要求1所述的语句中实体的标注方法，其特征在于，所述获取指定类别的实体词典，包括：

分析所述指定类别所对应的类别平台；

通过sqoop脚本获取所述类别平台中相应的实体词典数据；

根据所述实体词典数据形成所述实体词典。

6.如权利要求1所述的语句中实体的标注方法，其特征在于，所述检测各词语向量与所述指定类别对应的类别向量的相似度的步骤，包括：

将所述指定类别进行向量化处理，得到所述指定类别对应的类别向量；

根据公式计算各个词语向量与类别向量之间的相似度；其中，所述X_i为第i个词语向量，所述Y为所述类别向量，Jaccard(X_i，Y)表示第i个词语向量与类别向量的相似度。