[发明专利]将基于语料库的机器翻译系统适应到新领域的方法和装置

说明书

技术领域

本发明涉及信息处理技术，具体地，涉及将基于语料库的机器翻译系 统适应到新领域的方法和装置。

背景技术

机器翻译技术主要分为：基于规则的机器翻译、基于语料库的机器翻 译。

在基于语料库的机器翻译系统中，主要的翻译资源来源于双语语料库。

也就是说，在基于语料库的机器翻译系统中，以双语语料库中的平行 双语语料作为机器翻译的训练基础。即，这样的机器翻译系统，利用双语 语料库中经过句子对齐、短语对齐等处理后的平行双语语料训练得到翻译 模型，并且当用户输入待译句子后，利用翻译模型得到输入句子的目标语 言译文。

理论上，一个基于语料库的机器翻译系统应该是可以应用到例如新闻、 小说等各个领域中的。但是，不同的领域，其文本的特点是千差万别的， 同一词语在不同领域中的翻译很可能是不同的，或者，在一个领域中很少 被用到的词语在另一个领域中可能会大量出现。这样，在一个领域中建立 的双语语料库可能并未覆盖另一领域中频繁出现的句子、短语、词等，或 者该领域中对于某一词语的翻译不适用于该另一领域。

因此，对于不同的领域而言，为了得到针对该领域的较高翻译质量， 需要利用该领域的双语语料作为基于语料库的机器翻译系统的训练基础， 并且，用该领域中的双语语料训练后的翻译系统，也就是说基于该领域中 的双语语料库的机器翻译系统，将仅适用于翻译该领域中的文本。如果用 在该领域中训练好的机器翻译系统翻译另一领域中的文本，则翻译质量将 会大打折扣。

从而，对于不同的领域而言，为了应用一个基于语料库的机器翻译系 统，首先应该获得特定于该领域的双语语料库，作为训练基础，使该机器 翻译系统利用该双语语料库来翻译该领域内的文本。

但是，对于某些领域而言，要获得特定于该领域的双语语料库是很难 的。

为了解决该问题，一种现有的方法是：采用其他领域、即领域外的大 量双语语料训练一个基本机器翻译系统，然后用一个小型的指定领域、即 领域内的双语语料库来提高这个基本机器翻译系统的性能，参见Koehn、 Philipp和Josh Schroeder在2007年发表的“Expeeriments in Domain Adaptation for Statistical Machine Translation”(Proceedings of the Second Workshop on Statistical Machine Translation，224-227页)。

但是，在该方法中，小型的领域内的双语语料库是固定的，仅用来提 高基本机器翻译系统在领域内的翻译性能，而并不能随着基本机器翻译系 统在领域内的使用而不断扩充以改进基本机器翻译系统的翻译模型。也就 是说，在该方法中，并不存在使在领域外训练好的机器翻译系统在领域内 进行主动学习、以提高其在领域内的翻译质量的过程。

并且，在极端情况下，对于某些领域而言，即使小型的领域内的双语 语料库也是不存在的。对于这样的情况，上述现有的方法也是无能为力的。

发明内容

本发明正是鉴于上述现有技术中的问题而提出的，其目的在于提供一 种将基于语料库的机器翻译系统适应到新领域的方法和装置，以便针对在 另一个领域中训练好的基于语料库的机器翻译系统，随着其在新领域中的 使用，不断改进其翻译模型，即使该机器翻译系统执行针对该新领域的主 动学习过程，来提高该机器翻译系统针对该新领域的翻译性能。

根据本发明的一个方面，提供一种将基于语料库的机器翻译系统适应 到新领域的方法，包括：利用在一个领域中经过训练的基于语料库的机器 翻译系统翻译该新领域中的多个源语言句子；从上述多个源语言句子中选 出其翻译结果的评价低于预先设定的第一评价阈值的源语言句子；从上述 翻译结果的评价低于第一评价阈值的源语言句子中识别出与该新领域相关 的文本片段；以及利用上述多个源语言句子及其翻译结果、以及上述与该 新领域相关的文本片段及其正确译文，更新上述基于语料库的机器翻译系 统。