[发明专利]双语语料库的数据扩充方法和装置

说明书

技术领域

本发明涉及机器翻译技术领域，尤其涉及一种双语语料库的数据扩充方法和装置。

背景技术

机器翻译系统可以分为基于规则的机器翻译系统、基于实例的机器翻译系统以及基于统计的机器翻译系统。基于统计的机器翻译系统是20世纪90年代兴起的一种机器翻译系统，也是当前最为主要的机器翻译系统。它不需要人工编写规则，并且对所有语言都适用，因此应用比较广泛。

基于统计的机器翻译系统的翻译质量很大程度上取决于语料库的质量。即语料库中的数据数量越多，质量越高，则基于统计的机器翻译系统的翻译质量就越高。而语料库建立之初，大多数语料库都面临语料库中数据稀疏的问题。

发明内容

有鉴于此，本发明提出一种双语语料库的数据扩充方法和装置，以解决双语语料库的数据稀疏问题。

第一方面，本发明实施例提供了一种双语语料库的数据扩充方法，所述方法包括：

在源语言-枢轴语言语料库中查找与第一源语言短语语义匹配的至少一个第一枢轴语言短语；

在源语言-枢轴语言语料库中查找与各所述第一枢轴语言短语语义匹配的至少一个第二源语言短语，并由各所述第二源语言短语组成源语言短语集合；

在枢轴语言-目标语言语料库中查找与各所述第一枢轴语言短语语义匹配的至少一个第一目标语言短语，并由各所述第一目标语言短语组成目标语言短语集合；

将所述源语言短语集合中的第二源语言短语与所述目标语言短语集合中的第一目标语言短语进行组合，形成至少一个源语言短语与目标语言短语之间的短语对；

将形成的至少一个源语言短语与目标语言短语之间的短语对存储至源语言-目标语言语料库。

第二方面，本发明实施例提供了一种双语语料库的数据扩充装置，所述装置包括：

枢轴语言短语查找模块，用于在源语言-枢轴语言语料库中查找与第一源语言短语语义匹配的至少一个第一枢轴语言短语；

源语言短语集合建立模块，用于在源语言-枢轴语言语料库中查找与各所述第一枢轴语言短语语义匹配的至少一个第二源语言短语，并由各所述第二源语言短语组成源语言短语集合；

目标语言短语集合建立模块，用于在枢轴语言-目标语言语料库中查找与各所述第一枢轴语言短语语义匹配的至少一个第一目标语言短语，并由各所述第一目标语言短语组成目标语言短语集合；

短语对组合模块，用于将所述源语言短语集合中的第二源语言短语与所述目标语言短语集合中的第一目标语言短语进行组合，形成至少一个源语言短语与目标语言短语之间的短语对；

短语对存储模块，用于将形成的至少一个源语言短语与目标语言短语之间的短语对存储至源语言-目标语言语料库。

本发明实施例提供的双语语料库的数据扩充方法和装置，通过对源语言-枢轴语言语料库以及枢轴语言-目标语言语料库进行双向挖掘，对双语语料库中的数据进行扩充，解决了双语语料库中的数据稀疏问题。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明第一实施例提供的双语语料库的数据扩充方法的流程示意图；

图2是本发明第一实施例提供的双语语料库的数据扩充方法中源语言短语集合建立的流程示意图；

图3是本发明第一实施例提供的双语语料库的数据扩充方法中目标语言短语集合建立的流程示意图；

图4是本发明第二实施例提供的双语语料库的数据扩充装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

图1示出了本发明的第一实施例。

图1是本发明第一实施例提供的双语语料库的数据扩充方法的流程示意图。该方法适用于以源语言-枢轴语言语料库和枢轴语言-目标语言语料库为基础，对源语言-目标语言语料库这一双语语料库进行扩展的情况，具体可以由双语语料库的数据扩充装置来实现，该装置可以配置于任意具有数据处理能力的设备中，与各语料库能进行数据交互处理即可。参见图1，所述双语语料库的数据扩充方法包括：

步骤S110，在源语言-枢轴语言语料库中查找与第一源语言短语语义匹配的至少一个第一枢轴语言短语。

枢轴语言也称作中介语言，是在多种语言之间进行翻译时用作中间语言的人工语言或者自然语言。