[发明专利]一种基于改进WMD算法的实体对齐方法

权利要求书

1.一种基于改进WMD算法的实体对齐方法，其特征在于包括如下步骤：

步骤(1)计算百科实体之间的属性相似度；

步骤(2)计算百科实体间的摘要文本相似度；

步骤(3)通过属性相似度和摘要文本相似度综合判断实体是否能够消岐，

步骤1所述的计算百科实体之间的属性相似度，过程如下：

1.1统一属性的名称，采用人工构建属性映射规则的方法，通过人工对比校验，构建多个类别的属性名映射表，进而规范属性名称不一致的情况；

1.2统一属性的属性值，通过统计分析，建立属性值归一化规则，对属性值进行归一化；

1.3对于实体E_a，E_b，其属性名称集合分别为：Property_a＝{p_a1，p_a2，...，p_am}，Property_b＝{p_b1，p_b2，...，p_bn}；属性值集合分别为Value_a＝{v_a1，v_a2，...，v_am}，Value_b＝{v_b1，v_b2，...，v_bn}；

1.4对于公有属性P_i∈CommonPropertty(E_a，E_b)，对应着相同属性名称的P_am∈Property_a，P_bn∈Property_b；其中P_am的属性值为V_am，P_bn的属性值为V_bn，则百科实体的属性相似度计算公式为：

其中：

T＝|Proprety_a∩Proprety_b|；

T为公共属性交集中的元素个数，ED(V_ax，V_by)为实体属性值的编辑距离，max{len(V_ax)，len(V_by)}为属性值的最大字符长度，

步骤2所述的计算百科实体之间摘要文本相似度的步骤如下：

2.1采用TextRank算法对百科实体的摘要文本计算词权重，其单个词权重WS(V_i)计算公式为：

其中，In(V_i)代表指向该词V_i的集合，Out(V_j)代表V_i指向的词集合，d为阻尼系数，设置为0.85；s_ij为词V_i到V_j边的权重，s_jk为词V_j到V_k边的权重；

2.2通过预训练好的word2vec模型，将分词后的百科实体的摘要文本转化为词的分布式低维实数向量表示，将一个词的语义转化为另外一个词的语义的代价定义为Wordtravel cost，词V_i，V_j之间的word travel cost定义为：

C(i，j)＝||x_i-x_j||₂

其中，x_i，x_j分别对应词V_i，V_j所对应的Word2Vec词向量；

2.3在计算文档D₀，D₁的距离时，WMD会尝试寻找最小的代价将D₀中的所有单词转化为D₁中的单词；D₀中的词V_i的权重为WS(V_i)，D₁中的词V_j的权重为WS(V_j)，且V_i，V_j∈{V₀，V₁...V_n}；设T∈R^n×n为低维系数矩阵，其中T_ij为词语V_i到词语V_j的转移量，则WMD的优化表达式为：

其中：

2.4通过以上计算，百科实体的摘要文本相似度计算公式为：

2.根据权利要求1所述的一种基于改进WMD算法的实体对齐方法，其特征在于步骤3通过属性相似度和摘要文本相似度综合判断的步骤如下包括：

3.1将计算得出的属性相似度和预设定的实体属性相似度上限阈值ν和下限阈值ω进行比较，如大于等于上限阈值ν，则对齐实体，输出新的实体；若相似度在在上限阈值ν和下限阈值ω之间或等于下限阈值ω，则转向步骤3.2；否则认为该实体对之间不需要对齐工作；

3.2将摘要文本相似度和预设定的摘要文本相似度阈值λ进行比较，若大于等于阈值λ，则对齐实体，输出新的实体；否则判定这两个实体无关。