[发明专利]一种基于协同神经网络的语义角色标注方法

说明书

技术领域

本发明涉及语义角色标注、模式识别和协同神经网络领域，涉及将协同神经网络原理引入到浅层语义分析的方法，尤其涉及一种基于协同神经网络的语义角色标注方法。

背景技术

作为自然语言处理的一个主要研究方向，语义分析能够将自然语言转化为计算机能够理解的形式化语言，从而做到人与计算机之间的相互理解。对句子进行正确的语义分析，一直是从事自然语言理解研究的学者们追求的主要目标。但受语义的复杂性所限，目前的语义分析主要是集中在角色标注等方面。语义角色标注不对整个句子进行详细的语义分析，它只标注与句子中谓词有关的成分的语义角色，如施事、受事、与事、时间和地点等。近年来，语义角色标注受到了越来越多的学者的关注，广泛于应用于信息抽取、信息检索、机器翻译等领域。随着自然语言中底层技术的逐渐成熟，如分词、句法分析等都为语义角色标注的发展打下了重要基础。语义角色标注的基本标注单元主要有词、短语和句法成分。从整体效果看，以句法成分为标注单元的语义角色标注要优于以词和短语为标注单元的方法。

语义角色标注一般分为4个步骤。首先，进行预处理，过滤掉不可能成为语义角色的句法成分，预处理的任务即判断成分与目标动词之间是否具有语义角色关系，其可看作是一个二元分类问题；其次，识别出谓词的可能语义角色；接着，为句法成分进行具体角色的分类；最后，进行后处理，得到合理的角色组合。其中，分类问题主要是采用机器学习技术进行处理。

目前，主流的语义角色标注研究主要集中于使用各种机器学习技术，利用多种语言学特征，进行了语义角色的识别和分类。在角色分类过程中，无论是采用基于特征向量的方法，还是基于树核函数的方法，目的都是尽可能描述和计算两个对象之间的相似度。

根据是否使用相关的角色信息，可以将标注模型分为局部模型和全局模型。目前，多数基于句法成分的语义角色标注系统是采用局部模型，直接对各个句法成分的角色进行分类。局部模型没有考虑到成分角色的依赖关系，各个成分的角色标注过程相互独立。全局模型则在局部推导的基础上，考虑角色间的依赖关系，通过相关约束条件，从而得到较合理的角色组合。全局模型可分为两种：(1)在后处理步骤考虑语义角色全局信息，如利用角色间的约束条件，利用贪心策略保留约束的语义角色。(2)在分类的过程中考虑语义角色全局信息，如利用最大熵马尔科夫模型进行序列标注，此方法可得到更多的上下文信息。但会出现标注偏置问题而影响最终的性能。

实际上，语义角色的确定依赖于与之同谓词的其它结点的角色，是一个协同互动、相互制约的一个过程。如果将这个问题从整体上考虑进而研究一体化的语义标注将有可能取得更好的效果，值得我们深入研究。

考虑到同一文本语境中各歧义实体之间通过语义协同互动而最终突显出该语境整体语义的这一特点，我们可以采用哈肯教授提出的协同神经网络处理语义标注问题。把语义标注过程看成是语境整体语义的形成过程：语境中各歧义实体被加入到集合中，它们的不同语义参与竞争，最终具有最强初始支撑的序参量赢得胜利，驱使系统呈现原先缺少的特征，并最终突显出整个语境的整体语义，在此过程中各歧义实体的意义也得以确定。

协同神经网络方法的优点之一是有较强的抗噪声和抗缺损能力，因而采用这种方法来实现语义标注将可以较好地处理语义标注时上下文信息不完整的模糊匹配的问题。协同模式识别方法目前已经被成功用在人脸识别、自动控制等领域，语义标注问题本质上也可以考虑为一个模式识别问题，因此也完全有可能采用此方法加以解决。本发明将协同神经网络用于语义角色标注。

中国专利CN101446942公开一种自然语言句子的语义角色标注方法，采用联合学习模型，同时实现中文句法分析和语义角色标注。通过联合模型的使用，能够同时输出一个句子的句法分析结果和给定谓词的语义角色标注结果。在联合学习模型中，由于句法分析模型中增加了语义信息，使得训练出来的模型更适合于语义角色标注任务，因此由此模型输出的语义角色标注性能更高。同时联合模型输出的句法分析结果同单个句法分析模型的结果相比，两者性能不会有很大差别，甚至由于语义信息的加入，还能够提高句法分析的性能。

发明内容

本发明的目的在于针对现有的利用机器学习算法进行的语义角色标注系统所存在的问题和缺点，提供可使语义标注有更高的标注性能的一种基于协同神经网络的语义角色标注方法。

本发明包括以下步骤：

1)从训练语料和测试语料中抽取特征，并构造相应的语义特征向量；

2)对语义特征向量进行核变换，并在此基础上构造原型模式和待测试模式；