[发明专利]一种基于词统计与WordNet的义项表示与消歧方法

权利要求书

1.一种基于词统计与WordNet的义项表示与消歧方法，其特征是，包括如下步骤：

步骤1、获取维基百科的离线页面文件，并对离线维基百科页面文件进行预处理，得到预处理好的维基百科语料；

步骤2、对于预处理好的维基百科语料，选取词频排在前K的词作为训练目标词与向量维度词进行词统计训练，得到词共现矩阵与词向量；

步骤3、从WordNet中获取词语的义项集及其同义词集；

步骤4、步骤2所得到的词共现矩阵与词向量和步骤3所得到的义项集及其同义词集，通过合并同义词的词向量，生成词语的义项向量；

步骤5、从WordNet中获取词语的每个义项的注解集；

步骤6、将义项注解句与消歧文本形成待比较的文本对列表；

步骤7、将待比较文本对列表中的文本，进行词根还原处理，提取出它们之中的名词与动词分别作为它们的核心语义袋，以将文本对的比较转换为由名词和动词组成的核心语义袋的比较；

步骤8、通过核心语义袋，计算出词语每个义项的注解集与消歧文本之间的相似度；

步骤9、根据词语每个义项的注解集与消歧文本之间的相似度，输出注解集与消歧文本相似度最高的义项作为消歧结果。

2.根据权利要求1所述的一种基于词统计与WordNet的义项表示与消歧方法，其特征是，步骤4的具体过程如下：

步骤4.1、对于词语t的第i个义项tⁱ，将该词语t的词向量V(t)作为义项tⁱ的初始化义项向量SV₀(tⁱ)，即令SV₀(tⁱ)＝V(t)；

步骤4.2、对于同义词集中单义同义词st，依次采用下式将该单义同义词st的词向量V(st)与初始化义项向量SV₀(tⁱ)进行迭代合并，生成义项tⁱ的一级义项向量SV₁(tⁱ)，如下式所示：

SV₁(tⁱ)＝{(s_i,wt(s_i,SV₀(tⁱ))+wt(s_i,V(st))|s_i∈D₁∪D₂}

其中，wt(s_i,SV₀(tⁱ))表示维度词s_i在初始化义项向量SV₀(tⁱ)中的权重，wt(s_i,V(st))表示维度词s_i在词向量V(st)中的权重，D₁表示初始化义项向量SV₀(tⁱ)中权重不为0的维度词的集合，D₂表示词向量V(st)中权重不为0的维度词的集合；

在每次迭代合并前，先使用上一次迭代合并的结果SV₁(tⁱ)作为初始化义项向量SV₀(tⁱ)，即令SV₀(tⁱ)＝SV₁(tⁱ)；若义项tⁱ同义词集中不存在任何单义同义词，则令SV₁(tⁱ)＝SV₀(tⁱ)；

步骤4.3、对于同义词集中多义同义词dt，依次采用下式将该多义同义词dt词向量V(dt)与一级义项向量SV₁(tⁱ)进行迭代合并，生成义项tⁱ的二级义项向量SV₂(tⁱ)，如下式所示：

其中，wt(s_i,SV₁(tⁱ))表示维度词s_i在一级义项向量SV₁(tⁱ)中的权重，wt²(s_i,V(dt))表示维度词s_i在词向量V(dt)中的权重，wt(s_j,SV₁(tⁱ))表示维度词s_j在一级义项向量SV₁(tⁱ)中的权重，D₃表示一级义项向量SV₁(tⁱ)中权重不为0的维度词的集合，D₄表示词向量V(dt)中权重不为0的维度词的集合；

在每次迭代合并前，先使用上一次迭代合并的结果SV₂(tⁱ)作为一级义项向量SV₁(tⁱ)，即令SV₁(tⁱ)＝SV₂(tⁱ)；若义项tⁱ同义词集中不存在任何多义同义词，则令SV₂(tⁱ)＝SV₁(tⁱ)；

步骤4.4、对于义项tⁱ同义词集中的组合同义词ct，将该组合同义词ct中的第一个词ft的词向量V(ft)作为组合同义词ct的初始化组合词向量CV₀(ct)，即令CV₀(ct)＝V(ft)；

步骤4.5、对于组合词同义词ct中的独立词at，依次采用下式将词向量V(at)与初始化组合词向量CV₀(ct)进行迭代合并，生成组合同义词组合同义词ct的一级组合词向量CV₁(ct)，如下式所示：

其中，wt(s_i,CV₀(ct))表示维度词s_i在初始化组合词向量CV₀(ct)中的权重，wt(s_i,V(at))表示维度词s_i在词向量V(at)中的权重，wt(s_j,CV₀(ct))表示维度词s_j在初始化组合词向量CV₀(ct)中的权重，D₅表示初始化组合词向量CV₀(ct)中权重不为0的维度词的集合，D₆表示词向量V(at)中权重不为0的维度词的集合；

在每次迭代合并前，先使用上一次迭代合并的结果CV₁(ct)作为初始化组合词向量CV₀(ct)，即令CV₀(ct)＝CV₁(ct)；

步骤4.6、依次将步骤4.3所得tⁱ的二级义项向量SV₂(tⁱ)与步骤4.5所得的一级组合词向量CV₁(ct)进行迭代合并，生成义项tⁱ的最终向量SFV(tⁱ)，如下式所示：

其中，wt(s_i,SV₂(tⁱ))表示维度词s_i在二级义项向量SV₂(tⁱ)中的权重，wt(s_i,CV₁(ct))表示维度词s_i在一级组合词向量CV₁(ct)中的权重，wt(s_j,SV₂(tⁱ))表示维度词s_j在二级义项向量SV₂(tⁱ)中的权重，D₇表示二级义项向量SV₂(tⁱ)中权重不为0的维度词的集合，D₈表示一级组合词向量CV₁(ct)中权重不为0的维度词的集合；

在每次迭代合并前，先使用上一次迭代合并的结果SFV(tⁱ)作为二级义项向量SV₂(tⁱ)，即令SV₂(tⁱ)＝SFV(tⁱ)；若义项tⁱ同义词集中无任何组合同义词，则令SFV(tⁱ)＝SV₂(tⁱ)。