[发明专利]基于上下文的译文自动调序方法

说明书

技术领域

本发明涉及模式识别和自然语言处理技术领域，特别涉及一种基于上下文的译文自动调序方法。

背景技术

现有的在线电子词典，如金山词霸，采用的技术是存储已有的纸版词典，如“简明英汉词典”、“现代英汉综合大词典”等。该方法存在的问题是，当实现“即指即译”功能时，只是简单的按照词典罗列出的英语单词所对应汉语翻译词顺序，而无法根据当前英语单词所在的上下文，动态的调整翻译词的顺序。下面以英语名词bank为例，进行说明：

Welcome to Bank of America.

This walk follows the Thames west from B arnes bridge，keeping tothe north bank of the Thames.

很显然，在一句话中，bank应指“银行”，而第二句话则为“河岸”。但现有的技术没有实现自动的调整翻译词顺序。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何实现对多义词译文的顺序、即时自动调整。

(二)技术方案

为了达到上述目的，本发明提供了一种基于上下文的译文自动调序方法，包括以下步骤：

S1，获取由包含多义词的第一预设语种句子组成的训练语料库，在每个句子中标注了其中多义词的第二预设语种译文；

S2，提取所述训练语料库的每个句子中同一多义词的相邻词作为特征，然后对该多义词的所有特征顺序编号，根据这些编号将每个句子转化为向量表示形式；

S3，将向量表示形式的句子所形成的文件训练一个用于分类的数学模型；

S4，利用该数学模型预测待测句子中多义词的各个译文的正确概率，然后将各个译文按正确概率从大到小排列输出。

其中，所述用于分类的数学模型为带概率输出的数学模型。

其中，所述带概率输出的数学模型为支持向量机。

其中，利用核函数进行步骤S3的训练过程，所述核函数为支持向量机中的线性核。

其中，所述相邻词为与多义词紧挨的前后各三个词。

其中，所述第一预设语种为英文，第二预设语种为中文。

(三)有益效果

本发明的技术方案通过将动态调序问题视作分类问题，利用多义词出现的上下文的单词为特征对数学模型进行训练，实现了对多义词译文顺序的即时自动调整。适用于现有的全文翻译系统，例如在线词典，可以提高此类系统的性能。

附图说明

图1是本发明实施例的方法流程图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

本发明的主要思想是将动态调序问题视作分类问题，利用多义词出现的上下文的单词为特征，来实现对翻译词顺序的自动调整。本发明实施例的方法的步骤如图1所示：

S1、获得训练语料库。搜集大量的多义词出现的句子。对多义词在句子中的每一次出现，由人工标注好正确的翻译词。经过人工标注的这些句子构成训练语料库。可以将针对现代英语，主要选择新闻文章(比如1999-2009，共计10年的纽约时报；或者英国国家语料库、英文网站的文章等)，对文章中的每一个多义词标注正确的中文翻译。这里涉及的一个问题是词典的选择，第一可以选择任何一部已有的英汉词典；第二可以选择多部英汉词典，综合其中的翻译词。

S2、特征提取。根据这些训练语料库，提取每个多义词每次出现的相邻词作为特征。之所以这么做，其语言学原理是“观其伴，知其意”(You shall know a word by the company it keeps)(参见文献[Firth，1957])。其实除了多义词出现的周围的词外，还可以提取许多特征，比如周围词的词性；若多义词是动词，则往往需要判断在当前句子中是否有宾语和主语，如果有是哪个词等等。但本发明主要适用于在线词典，它能够获得的上下文很短，且需要很快的响应时间(秒级)，而得到动词的主语和宾语，需要获得比较长的上下文，且需要花费额外时间对上下文进行句法分析，因此这里仅选择相邻词作为特征。这也是我们的一个特色。然后对同一多义词的所有特征顺序编号，根据这些编号将每个句子转化为向量表示形式：

以bank为例，bank出现的一句话，对应下面的一行：

1 6:1 42:1 52:1 59:1 63:1 67:1

1 6:1 24:1 30:1 42:1 43:1 59:1