[发明专利]基于信息增益改进贝叶斯词义消歧方法

说明书

技术领域

本发明涉及自然语言处理技术领域，特别是基于信息增益改进贝叶斯词义消歧方法。

背景技术

多义词的词义消歧(Word Sense Disambiguation，WSD)是影响自然语言处理领域的一个“热点问题”，一词多义在自然语言中出现的非常频繁，在英语资料中多义词的出现占据语料的30％～43％，在汉语资料中多义词的出现占据语料的42％。在一定程度上说自然语言处理就是要实现人机相互交流。为了实现这个目标，我们还有大量的工作需要完成，而词义消歧就是对于词的处理问题，同时也是自然语言处理中的一个难点。词义消歧技术可以使计算机模拟人类分析、理解、判断不同语言环境中的词义信息。词义的自动消歧可以被广泛用于自然语言处理系统，如：文本分类、信息检索、机器翻译、文本挖掘、语音识别等。有资料表明，在自然语言处理系统中加入词义消歧技术后，可以使系统的正确率由29％上升到34.2％，词义消歧被认为是自然语言处理领域中词汇级别最困难的问题。

用于词义消歧的方法有很多种，主要可以分为两大类。一类为约束规则，这类方法主要通过语言学中的语法规则来确定歧义词的义项，如：句法关系、语义搭配、词法特征、词性特征等。Cowie(1992)、Agirre和Rigau(1995)等人就利用机器可读词典的方法进行词义消歧处理，刘风成等人基于AdaBoost MH的分类方法，吴云芳等人提出了基于词典属性特征的消歧方法。这类方法需要构建语法规则库，而语法规则的构建和获取成为这种方法的难点。第二类为基于语料库统计方法，在人为确定的语料库中计算歧义词在上下文中的概率权重，选择具有最大概率权重的义项作为歧义词的最优结果。荀恩东等人利用汉语二元同现的方法进行词义消歧，东北大学朱靖波等人提出了基于对数模型的消歧方法，杨尔弘提出了基于义原同现频率的词义消歧方法，鲁松等人提出了基于向量空间模型的词义消歧方法，哈尔滨工业大学卢志茂、刘挺等人把神经网络和贝叶斯网络应用于汉语的词义消歧。

在单纯贝叶斯消歧模型中，通常选取包含歧义词整个语句词语作为消歧特征，当语句过长时，特征向量就会过多，增加了噪音干扰；另外，一般采用空间向量进行词义消歧时，认为歧义词周围所有词对歧义词词义的影响是一样的，但是，实际情况是距离歧义词越近，上下文对歧义词词义的影响就越大，反之就会越小。因此，我们利用信息增益的方法改进单纯贝叶斯模型中特征向量对歧义词影响的程度，限制了歧义词的上下文范围，并为特征向量赋予了不同的权重值，提出了一种基于信息增益改进贝叶斯模型的词义消歧方法。

发明内容

本发明的目的是提供一种基于信息增益改进贝叶斯(技术有指导)词义消歧方法。与纯贝叶斯词义消歧模型相比较，该方法在封闭测试中准确率提高了4.7个百分点，开放测试中的正确率高出0.97个百分点。

本发明的方法采用“知网”(HowNet)作为消歧资源，通过知网中的义项来描述和区分词在上下文中的词义，利用人民日报标注语料库，对歧义词进行词义义项标注，构建了词义消歧语料库。采用信息增益方法对语料进行统计，计算出歧义词上下文不同位置信息增益值，根据信息增益值选取影响岐义词前后6个位置词构建词义消歧特征向量，采用贝叶斯算法，通过信息增益为特征向量12维特征赋予不同的权重值，构建了改进贝叶斯词义消歧模型。具体是：

1、利用知网定义词语义项，构建词义消歧训练、测试语料库

《知网》是一个以汉语和英语的词语所代表的概念为描述对象，以揭示概念与概念之间以及概念所具有的属性之间的关系为基本内容的常识知识库。《知网》利用有限的义原集合对概念进行解释，这些义原被分别组织在各自的文件内，包括实体，事件，属性和属性值等。《知网》把与概念相关的义原按一定规则组合起来称之为一个义项，这个义项用一个编号(NO.)表示，W_C，G_C，E_C分别表示汉语的词语、词性和例子，DEF为语义表达式。词语(word)同一个语义表达式(DEF)可能有不同的编号(NO.)，为了便于和统计，我们为每个义项定义一个唯一的语义标识码(NO_MARK)。如“材料”有三个义项。义项一的NO_MARK为“9406”，NO.为“009406”，DEF为“attribute|属性，quality|质量，&human|人”；义项二的NO_MARK为“9408”，NO.为“009408”，DEF为“information|信息”；义项三的NO_MARK为“9409”，NO.为“009409”，DEF为“material|材料，generic|统称”；在计算时根据DEF进行处理。同时建立一个NO_MARK-WORD数据库表。