[发明专利]实体消歧的方法及系统

权利要求书

1.一种实体消歧的方法，应用于分布式平台，包括：

将待消歧实体的词向量数据划分为多个部分，对每个部分的词向量数据进行聚类得到每个部分中每一类的类表示向量；

将所有部分的所有类表示向量一同再次进行聚类，得到最终聚类结果；

其中，不同部分的词向量数据由所述分布式平台中的不同节点进行聚类。

2.根据权利要求1所述的方法，其特征在于，所述对每个部分的词向量数据进行聚类得到每个部分中每一类的类表示向量，包括：

对于每个部分的词向量数据分别进行如下操作：

采用相似度算法计算该部分中每两个实体之间的相似度；

使用聚类算法根据该部分中每两个实体之间的相似度进行聚类；

将该部分中聚类得到的每一类内所有词向量数据分别相加后取平均，得到该部分中每一类的类表示向量。

3.根据权利要求1所述的方法，其特征了在于，所述将所有部分的所有类表示向量一同再次进行聚类，得到最终聚类结果，包括：

采用相似度算法计算每两类之间的相似度；

使用聚类算法根据每两类之间的相似度再次进行聚类；

将再次聚类得到的每一类内所有词向量数据相加后取平均得到再次聚类后的每一类的类表示向量。

4.根据权利要求1所述的方法，其特征在于，在将待消歧实体的词向量数据进行划分之前，该方法还包括：

根据预设筛选规则对原始实体词向量数据进行筛选，得到所述待消歧实体的词向量数据。

5.根据权利要求4所述的方法，其特征在于，在根据预设筛选规则对原始实体词向量数据进行筛选之前，该方法还包括：

利用实体识别NER模型从原始数据中识别出原始实体词向量数据。

6.根据权利要求5所述的方法，其特征在于，所述根据预设筛选规则对原始实体词向量数据进行筛选，得到所述待消歧实体的词向量数据，包括：

将所述原始实体词向量数据输入到分布式平台的Kafka队列中；

使用分布式平台的Flink计算引擎从Kafka队列中读取所述原始实体词向量数据，再根据预设筛选规则对原始实体数据进行筛选，得到所述待消歧实体的词向量数据并保存到分布式平台的分布式文件系统HDFS。

7.根据权利要求2-3任一项所述的方法，其特征在于，

所述聚类算法为DBSCAN算法，所述相似度算法为余弦相似度算法。

8.一种实体消歧的装置，其特征在于，应用于分布式平台，包括：

第一聚类单元，用于将待消歧实体的词向量数据划分为多个部分，对每个部分的词向量数据进行聚类得到每个部分中每一类的类表示向量；

第二聚类单元，用于将所有部分的所有类表示向量一同再次进行聚类，得到最终聚类结果；

其中，不同部分的词向量数据由所述分布式平台中的不同节点进行聚类。

9.一种电子装置，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述实体消歧的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息处理程序，所述信息处理程序被处理器执行时实现如权利要求1至7中任一项所述实体消歧的方法的步骤。