[发明专利]一种基于同义词扩展的贝叶斯词义消歧方法

权利要求书

1.一种基于同义词扩展的贝叶斯词义消歧方法，其特征在于包括以下步骤：

步骤1、采用同义词词林将训练语料库的上下文进行扩展，生成大量伪训练语料；

步骤2、利用词语搭配语料库去除伪训练语料中的噪声，生成伪训练语料库；

步骤3、同时采用训练语料库和伪训练语料库训练贝叶斯消歧模型；

步骤4、将测试语料输入贝叶斯消歧模型，综合利用两种语料库中的消歧知识，共同决策歧义词的词义。

2.根据权利要求1所述的一种基于同义词扩展的贝叶斯词义消歧方法，其特征在于：所述步骤1的具体步骤为：首先，采用人工标注的方式建立小规模词义消歧训练语料库，然后利用同义词词林，对歧义词所处句子中的上下文进行扩展，最后将扩展后的同义词、歧义词以及该句中歧义词的词义，生成大量伪训练语料。

3.根据权利要求1所述的一种基于同义词扩展的贝叶斯词义消歧方法，其特征在于步骤2的具体步骤为：利用同义词词林对歧义词的上下文进行扩展，针对扩展的上下文，统计与歧义词在词语搭配语料库中共现次数，只利用具有一定共现次数的上下文，构建伪训练语料库。

4.根据权利要求1所述的一种基于同义词扩展的贝叶斯词义消歧方法，其特征在于：所述步骤3中同时采用训练语料库和伪训练语料库训练贝叶斯消歧模型，计算公式为：

$p\left(s_i\right|w_{-L}...w_0...w_L)\∝p\left(s_i\right)\underset{f_j\∈F}{\Π}p\left(f_j\right|s_i),$

公式中，s_i表示歧义词词义，w_-L...w_L表示歧义词w₀附近一定窗口大小L下的词语，f_j表示歧义词的某个上下文特征，F表示上下文的特征集合，p(f_j|s_i)表示词义与特征的条件概率，计算如公式为：

$p\left(f_j\right|s_i)=\frac{c(f_j,s_i)}{c\left(s_i\right)},$

c(s_i)表示词义s_i在语料库中出现的次数，c(f_j,s_i)表示特征f_j与词义s_i在训练语料中的共现次数。

5.根据权利要求1所述的一种基于同义词扩展的贝叶斯词义消歧方法，其特征在于：所述步骤4的具体步骤为:将由同义词词林扩展的上下文所组成的语言片段，当作伪训练语料，综合利用训练语料库和伪训练语料库中的知识，进行词义消歧，在估计词义和特征的条件概率时，由以下公式计算得出：

$p\left(f_j\right|s_i)=\frac{c_t(f_j,s_i)}{c_t\left(s_i\right)}+\mathrm{\λ}\frac{c_p(f_j,s_i)}{c_p\left(s_i\right)}$

公式中c_t(f_j,s_i)表示词义s_i与特征f_j在训练语料中的共现次数，c_t(s_i)表示词义s_i在训练语料中的出现次数，c_p(f_j,s_i)表示特征与歧义词在伪训练语料中的共现次数，c_p(s_i)表示词义s_i在伪训练语料中出现次数，λ取值为0.7。