[发明专利]一种基于实体属性的真值发现方法

摘要

本发明涉及一种基于实体属性的真值发现方法，集中考虑算法的主要影响因素，提出全新设计思想的真值发现模型，在现有数据源可靠性与事实准确性迭代计算机制的基础上，考虑同一实体属性事实相互支持度和数据源之间的依赖关系两个因素，简化真值发现算法，提高真值发现的准确性；而且提出了单向文本相似度与事实冲突程度相结合的方法来计算事实相互支持度，对实体属性文本存在的简写、省写、漏写、多写和次序颠倒等复杂情况有更强的适应能力和准确性，能够进一步提高真值发现的准确性；不仅如此，还提出了数据源对称包含度来计算数据源之间的依赖程度，充分考虑了真值发现方法的主要影响因素，进一步提高真值发现的准确性。

主权项

一种基于实体属性的真值发现方法，用于在各个数据源分别为各个实体属性提供事实的情况下，确定各个实体属性分别所对应的真值事实，其特征在于，包括如下步骤：步骤001.所有数据源构成全局数据源集合，分别针对全局数据源集合中的各个数据源，随机初始化其可靠性为t(s_n)，然后进入步骤002；其中，n＝{1、…、N}，N为全局数据源集合中数据源的个数，s_n表示全局数据源集合中的第n个数据源，t(s_n)表示全局数据源集合中第n个数据源的可靠性，0＜t(s_n)＜1；步骤002.分别针对各个实体属性，针对全局数据源集合中各个数据源为实体属性提供的各个事实，按相同事实进行划分，即将相同的事实划分为一类，构成该实体属性的各个事实种类；并针对全局数据源集合中的各个数据源，按其分别针对该实体属性所提供各个事实的划分进行相应划分，构成与该各个事实种类分别相对应的各个局部数据源集合；再获得该实体属性所对应事实种类的个数I，I≤N，即分别获得各个实体属性分别所对应的各个事实种类，以及与各个事实种类相对应的各个局部数据源集合，然后初始化迭代次数r＝1，并进入步骤003；步骤003.分别针对各个实体属性，根据如下公式，获得实体属性所对应各个事实种类的准确性t(f_i)，$t\left(f_i\right)=1-\underset{k=1}{\overset{K}{\Π}}(1-t(v_k\left)\right)$式中，i＝{1、…、I}，f_i表示该实体属性的第i个事实种类，t(f_i)表示该实体属性的第i个事实种类的准确性，K表示该实体属性的第i个事实种类所对应局部数据源集合中的数据源的个数，K≤N，v_k表示该实体属性的第i个事实种类所对应局部数据源集合中的第k个数据源，t(v_k)表示该实体属性的第i个事实种类所对应局部数据源集合中第k个数据源的可靠性；进而获得各个实体属性分别所对应各个事实种类的准确性t(f_i)，然后进入步骤004；步骤004.针对各个实体属性分别所对应各个事实种类的准确性t(f_i)进行对数放大处理，获得各个实体属性分别所对应各个事实种类的第一准确性t_p(f_i)；同时针对全局数据源集合中各个数据源的可靠性t(s_n)进行对数放大处理，更新为t_g(s_n)，即更新全局数据源集合中各个数据源的可靠性为t_g(s_n)，然后进入步骤005；步骤005.分别针对各个实体属性，根据如下公式，分别获得实体属性的各个事实种类的冲突程度conflict(f_i)，$conflict\left(f_i\right)=1-\frac{\left|f_i\right|}{\underset{j=1}{\overset{I}{\Σ}}\left|f_j\right|}$式中，j＝{1、…、I}，f_j表示该实体属性的第j个事实种类，|f_i|表示该实体属性的第i个事实种类中事实的数量，|f_j|表示该实体属性的第j个事实种类中事实的数量；进而获得各个实体属性分别所对应各个事实种类的冲突程度conflict(f_i)，然后进入步骤006；步骤006.分别针对各个实体属性，根据如下公式，分别针对实体属性的各个事实种类f_i，获得全局数据源集合中各个数据源为该实体属性所提供的各个事实f′_z，分别针对f_i的单向文本相似度sim(f′_z,f_i)，$sim(f_z^{\′},f_i)=\frac{c}{len\left(f_z^{\′}\right)}*\left|f_i\right|$式中，f′_z表示全局数据源集合中各个数据源为该实体属性所提供各个事实中的第z个事实；c表示全局数据源集合中各个数据源为该实体属性所提供各个事实中、第z个事实所对应文本与该实体属性第i个事实种类f_i所对应文本之间相同词元的个数；len(f′_z)表示全局数据源集合中各个数据源为该实体属性所提供各个事实中、第z个事实所对应文本的词元的个数；进而分别获得全局数据源集合中各个数据源为各个实体属性分别所提供的各个事实f′_z，分别针对对应实体属性各个事实种类f_i的单向文本相似度sim(f′_z,f_i)，然后进入步骤007；步骤007.针对全局数据源集合中的各个数据源，根据如下公式，获得全局数据源集合中两两数据源之间的对称包含度depend(s_n,s_n')，然后进入步骤008；$depend(s_n,s_{n^{\′}})=\left\{\begin{array}{cc}\frac{t}{p+q+t}& n\≠n^{\′}\\ 0& n=n^{\′}\end{array}\right.$式中，n'＝{1、…、N}，depend＝s_n,s_n')表示全局数据源集合中第n个数据源与第n'个数据源之间的对称包含度；p＝b‑t，q＝d‑t；b表示全局数据源集合中第n个数据源针对各个实体属性所提供事实的个数；d表示全局数据源集合中第n'个数据源针对各个实体属性所提供事实的个数；t表示全局数据源集合中第n个数据源针对各个实体属性所提供各个事实，与全局数据源集合中第n'个数据源针对各个实体属性所提供各个事实之间相同事实的个数；步骤008.根据如下公式，分别针对全局数据源集合中的各个数据源，针对数据源的可靠性为t_g(s_n)进行调整，更新为t'_g(s_n)，即更新该数据源的可靠性为t'_g(s_n)，$t_g^{\′}\left(s_n\right)=t_g\left(s_n\right)+\frac{1}{N}\underset{n^{\′}=1}{\overset{N}{\Σ}}\[t_g\left(s_n\right)*depend(s_n,s_{n^{\′}})\]$进而更新全局数据源集合中各个数据源的可靠性为t'_g(s_n)；然后进入步骤009；步骤009.分别针对各个实体属性，根据如下公式，获得该实体属性各个事实种类的第二准确性为t'_p(f_i)，$t_p^{\′}\left(f_i\right)=\underset{k=1}{\overset{K}{\Σ}}{t}_g^{\′}\left(v_k\right)$式中，t'_g(v_k)表示该实体属性的第i个事实种类所对应局部数据源集合中第k个数据源的可靠性；进而获得各个实体属性分别所对应各个事实种类的第二准确性为t'_p(f_i)，然后进入步骤010；步骤010.分别针对各个实体属性，根据如下公式，针对实体属性各个事实种类的准确性进行调整，更新为t″_p(f_i)，即更新该实体属性各个事实种类的准确性为t″_p(f_i)，$t_p^{\′\′}\left(f_i\right)=t_p^{\′}\left(f_i\right)+(1-conflict(f_i\left)\right)*\underset{z=1}{\overset{Z}{\Σ}}\[t_p\left(f_i\right)*sim(f_z^{\′},f_i)\]$式中，z＝{1、…、Z}，Z表示全局数据源集合中各个数据源为该实体属性所提供事实的个数；进而更新各个实体属性分别所对应各个事实种类的准确性为t″_p(f_i)，然后进入步骤011；步骤011.针对各个实体属性分别所对应各个事实种类的准确性为t″_p(f_i)，分别进行归一化处理更新，分别获得各个实体属性分别所对应各个事实种类的准确性为然后进入步骤012；步骤012.根据事实种类中各个事实准确性彼此相等，以及各个实体属性分别所对应各个事实种类的准确性为即获得各个实体属性分别所对应各个事实的准确性然后进入步骤013；步骤013.分别针对全局数据源集合中的各个数据源，根据如下公式，更新获得各个数据源的可靠性$t_g^{*}\left(s_n\right)=\frac{1}{M}\underset{m=1}{\overset{M}{\Σ}}{t}_p^{*}\left(f_m^{\′\′}\right)$式中，m＝{1、…、M}，M表示全局数据源集合中第n个数据源s_n为各个实体属性所提供事实的个数，f″_m表示全局数据源集合中第n个数据源s_n为各个实体属性所提供事实中的第m个事实，表示全局数据源集合中第n个数据源s_n为各个实体属性所提供事实中第m个事实的可靠性；进而获得全局数据源集合中各个数据源的可靠性同时获得全局数据源集合中各个数据源的平均可靠性然后进入步骤014；步骤014.判断迭代次数r是否大于等于2，是则进入步骤015；否则用r的值加1赋给r，并返回步骤003；步骤015.判断本次迭代中所获全局数据源集合中各个数据源的平均可靠性与上一次迭代中所获全局数据源集合中各个数据源的平均可靠性之间的差值是否大于预设迭代阈值，是则用r的值加1赋给r，并返回步骤003；否则进入步骤016；步骤016.根据本次迭代中所获各个实体属性分别所对应各个事实的准确性分别获得各个实体属性的真值，即实现基于实体属性的真值发现。