[发明专利]一种上位词聚合方法及装置

说明书

本发明涉及信息处理技术，特别涉及一种上位词聚合方法及装置。用以提高上位词聚合的精准性。该方法为：终端设备根据各个上位词包含的字向量计算各个上位词之间的词向量相似度，以及根据各个上位词对应的实体所关联的实体类型计算各个上位词之间的实体类型相似度，并将词向量相似度达到第一预设门限且实体类型相似度达到第二预设门限的各个上位词进行聚合；这样，可以有效处理类似上位词这样的短文本，既可以有效地挖掘出上位词包含的文本键信息，又可以准确地刻画出上位词的类型特征，同时不仅可以避免人工设计特征的繁杂工作量，而且可以增强模型的泛化能力，有效地识别无效上位词，去除上位词中的冗余数据，显著提高了上位词聚合的精准性。

技术领域

本发明涉及信息处理技术，特别涉及一种上位词聚合方法及装置。

背景技术

在基于知识图谱产生的上位词网络中，为了避免出现上位词冗余问题，通常需要对具有相同语义的上位词进行聚合，即针对同一语义，抽取到采用不同表达方式的上位词并进行合并。例如：关于单反相机的上位词有：“一台单反相机”、“俗称的单反相机”、“单反照相机”“LR camera”等，这些具有相同语义但描述各不相同的上位词称之为相同语义上位词。把这些相同语义上位词合并在一起并用一个共同名字表示的过程称之为上位词的聚合过程。合并具有相同语义的上位词可以减小上位词网络的冗余问题，提高上位词网络的质量。

已有技术中，通常会采用两种方式实现上位词聚合。

第一种方式为：主要是针对相似语义文本进行聚类。

常见的方法通常会利用词向量、词袋模型、主题模型等等特征来表示文本，然后利用常见的聚类算法，如：k-means，层次聚类，谱聚类等方法来获取相似文本集合。

采用第一种方式可以把字数相对较多的相似语义文本聚合在一起，即只能满足相似语义的长文本的聚合任务，其聚合精准性较低。

而对相同语义的上位词进行聚合是一种高精度语义聚类任务，因此，第一种方式难以有效地解决。

第二种方式为：主要从字符串相似角度出发，利用编辑距离等方法来合并表述非常相似的短文本。

采用第二种方式可以解决相同语义的上位词的聚合问题，但是，此种方式只是捕捉上位词的字符串信息，并通过计算字符串之间的相似度来判断二者是否表述同一个事物。而实际上，同一个事物往往会有不同的描述方式，如：“儿童”和“小孩”，二者语义一样，但是字符串完全不同。因此，采用基于编辑距离的方式合并具有相似语义的上位词也具有一定的局限性。

有鉴于此，需要重新设计一种上位词聚合的方法以克服上述缺陷。

发明内容

本发明实施例提供一种上位词聚合方法及装置，用以提高上位词聚合的精准性。

本发明实施例提供的具体技术方案如下：

一种上位词聚合方法，包括：

获取多个待处理上位词，并分别确定各个待处理上位词包含的每一个字的字向量；

基于获得的各个字向量，根据特定算法计算各个待处理上位词的词向量；

分别确定各个待处理上位词在知识图谱中关联的实体类型；

基于各个待处理上位词的词向量和关联的实体类型，分别计算每两个待处理上位词之间的词向量相似度和实体类型相似度；

当词向量相似度达到第一预设门限，且实体类型相似度达到第二预设门限时，将相应的待处理上位词进行聚合。

一种上位词聚合装置，包括：

第一确定单元，用于获取多个待处理上位词，并分别确定各个待处理上位词包含的每一个字的字向量，以及基于获得的各个字向量，根据特定算法计算各个待处理上位词的词向量；