[发明专利]一种基于改进WMD算法的实体对齐方法

说明书

本发明是一种基于改进WMD算法的实体对齐方法。本发明步骤如下：获取同名百科实体对，计算实体对之间的属性相似度；计算实体间的摘要文本相似度；通过属性相似度和摘要文本相似度综合判断完成实体对齐。属性相似度计算包括：规范实体之对间属性名不一致的情况，将实体对的属性值归一单位化，通过编辑距离算法计算实体对之间的属性相似度。摘要文本相似度计算包括:对摘要文本分词并除去停用词，使用TextRank算法计算每个词的词权重，通过预训练好的word2vec模型，将分词后的摘要文本转化为词的分布式低维实数向量表示，将词向量和计算好的单个词权重作为参数。本发明有效降低了单纯依赖属性相似度来进行实体消岐工作带来的误差。

技术领域

本发明属于自然语言处理技术领域，涉及的实体对齐方法，具体来讲是一种基于改进WMD算法的实体对齐方法。

背景技术

为促进数据的语义化，国内外的研究机构和企业已经构建了丰富多样的知识库。这些知识库在数据挖掘，语义分析，智能问答系统等应用中发挥了重要的作用。但仅仅使用单一知识库会导致信息覆盖面低，描述不完整的问题。在构建中文知识库中，可以通过多个知识库的融合，有效解决信息缺失的问题，而有效的实体对齐技术正是数据融合的关键所在。实体对齐的目的是判别来自不同数据源中的实体是否指向现实世界的同一对象。通过有效的实体对齐技术，我们可以从网络百科实体页面中抽取实体，进而构建一个高质量的中文百科知识库。

实体对齐实质上是要解决多源知识库之间异构问题，目前知识库的异构问题主要体现在两个方面(1)体系结构差异，不同知识库的结构存在较大差异；(2)内容差异，即不同知识库中所填充的实体不同，相同的实体名可能指代多个对象。但中文知识库资源缺乏完整的体系结构，不适用应用以上方法。在内容差异方面的对齐工作较少，多为基于实体的属性信息。但由于百科数据属于用户原创，数据质量参差不齐，仅通过属性信息难以判定是否为同一实体。

发明内容

本发明对传统实习对齐方法在中文百科实体上正确率不高的问题，公开一种基于改进WMD算法的实体对齐方法，一种通过计算编辑距离和改进的WMD距离进而完成中文百科实体对齐方法。

一种基于改进WMD算法的实体对齐方法，按照如下步骤进行：

步骤(1)计算百科实体之间的属性相似度。

步骤(2)计算百科实体间的摘要文本相似度。

步骤(3)通过属性相似度和摘要文本相似度综合判断实体是否能够消岐。

步骤1所述的计算百科实体之间的属性相似度，过程如下：

1.1首先统一属性的名称，采用人工构建属性映射规则的方法，通过人工对比校验，构建了多个类别的属性名映射表，进而规范属性名称不一致的情况。

1.2其次统一属性的属性值，通过统计分析，建立属性值归一化规则，对属性值进行归一化。

1.3对于实体E_a，E_b，其属性名称集合分别为： Property_a＝{p_a1，p_a2，...，P_am}，Property_b＝{p_b1，p_b2，...，p_bn}。属性值集合分别为 Value_a＝{V_a1，V_a2，...，V_am}，VaIue_b＝{V_b1，V_b2，...，V_bn}。