[发明专利]一种基于语料合并的无监督双语词典构建方法

说明书

一种基于语料合并的无监督双语词典构建方法，属于无监督双语词典构建领域。本方法步骤为：一、根据单语语料训练得到对应的单语词向量；二、根据单语词向量得到映射矩阵W；三、根据映射矩阵W抽取替换单词的词典；四、根据替换词典替换原来单语语料并且合并单语语料为混合语料；五、训练混合语料得到混合词向量；六、分离混合词向量得到新的源语言与目标语言词向量；七、基于新的词向量重新计算映射矩阵并据此构建词典。本发明应用于低资源语言无监督双语词典构建领域。本发明解决了低资源语言平行语料库匮乏导致的双语词典构建代价过高的问题，以及提高基于无监督双语构建的词典的性能的问题。

技术领域

本发明涉及一种基于语料合并的无监督双语词典构建方法，属于无监督双语词典构建领域。

背景技术

双语词典构建是利用给定的文本语料构建对应语言的双语词典。双语词典的构建不仅仅是机器翻译的基础，在其他自然语言任务中也有应用，比如跨语言信息发现、跨语言命名实体识别以及跨语言信息安全监测等等。常用的双语词典构建方法是映射方法，即将不同语言的词向量(训练对应语言的文本语料获得的)映射到同一个向量空间中，在这个空间中不同语言中含义相同的词尽可能靠近，进而可以进行双语词典的构建。

目前对双语词典构建的方法有很多，其中按照监督程度进行划分，双语词典构建方法可以分为三种：第一种方法是有监督双语词典构建方法，利用平行语料比如人工标注的词典作为监督方式进行映射矩阵的学习，之后利用学习到的映射矩阵将不同语言的词向量映射到同一个空间进行双语词典构建；第二种方法是半监督双语词典构建方法，半监督的方法是利用种子词典或者启发式词典代替原始人工标注的词典进行映射矩阵的学习；第三种是无监督双语词典构建方法，无监督的方法不需要任何双语信息进行监督，直接利用已有的单语语料或者单词词向量进行双语词典的构建。

有监督双语词典构建方法在进行训练的过程中需要大规模高质量的平行语料作为监督方式进行训练，然而对于低资源语言来说大规模高质量的词典是难以获取的。半监督方法双语词典构建方法利用种子词典降低了监督程度，虽然降低了对大规模词典的需求，但是由于种子词典的建立需要同源词或者共享单词对语言种类却进行了限制。无监督双语词典构建方法不需要任何程度的监督方式，只需要利用单语语料或者单语词向量就能够进行双语词典的抽取。

平行语料库的难以获取一方面是由于构建平行语料库需要耗费大量的人力物力，另一方面是许多质量较好的平行语料库并不免费开放使用。此外，对于低资源语言来说，少有高质量的平行语料库或者没有对应的平行语料库，但是相关的低资源语言的单语语料却能够在互联网上大量获得。基于以上原因，只需要利用单语语料的无监督双语词典构建方法逐渐成为研究热点。

目前无监督双语词典的构建方法主要有两种：

(1)是利用对抗学习的方法进行无监督双语词典构建，利用判别器来区分映射的源向量和目标向量，训练生成器(映射矩阵)来欺骗判别器。

(2)是根据词向量结构相似性等方法进行初始词典的构建，之后迭代自学习方法学习映射。

发明内容

本发明的目的是为了解决低资源语言平行语料库匮乏导致的双语词典构建代价过高的问题，以及提高基于无监督双语构建的词典的性能的问题，而提出的一种基于语料合并的无监督双语词典构建方法

一种基于语料合并的无监督双语词典构建方法，基于语料合并的无监督双语词典构建方法包括以下步骤：

步骤一、根据源语言单语语料和目标语言单语语料训练得到各自对应的词向量；

步骤二、计算步骤一得到的词向量对应的两个自相似度矩阵，利用自相似度矩构建初始化词典D0，并根据初始化词典D0迭代自学习方法得到映射矩阵W；

步骤三、根据步骤二得到的映射矩阵W，将源语言词向量映射到目标语言词向量空间中，并据此抽取词典；