[发明专利]一种基于英语枢轴的弱监督汉越双语词典构建方法

说明书

本发明涉及一种基于英语枢轴的弱监督汉越双语词典构建方法，属于自然语言处理技术领域。本发明包括步骤：分别收集汉语、英语和越南语的单语语料以及对语料进行预处理；基于种子词典的方法将汉越词向量分别对齐到英语词向量共享空间；在英语词向量共享空间中通过对抗网络学习汉越词向量之间的映射关系；采用不同的抽取策略抽取汉‑越词典。本发明对自动构建汉‑越词典的准确率有很大提升。解决现有汉越双语词典构建方法中存在的平行语料、种子词典等非常稀缺且难以标注以及现有方法构建效果不佳的问题。

技术领域

本发明涉及一种基于英语枢轴的弱监督汉越双语词典构建方法，属于跨语言自然语言处理技术领域。

背景技术

中国与沿线国家之间的交流日益频繁，跨语言交流中的语言翻译问题备受关注。作为沿线国家之一的越南与我国之间的交流越来越密切。双语词典作为跨语言自然语言处理领域的一项基础性资源，具有极其重要的研究价值。双语词典的好坏对信息检索、机器翻译、跨语言标注投射等NLP任务具有很大的影响。然而人工构建大规模的汉-越双语词典则需要精通汉语和越南语的语言专家参与且非常耗时，构建成本高，而且现有构建汉-越双语词典的方法效果不佳，且通常需要平行语料或双语词典等监督信号参与。因此，针对以上问题，提出基于英语英语枢轴自动构建汉-越双语词典方法。

近几年，国内外学者对双语词典的构建方法进行了大量研究，提出了基于平行语料、基于可比语料、基于种子词典、基于对抗网络等多种双语词典构建方法。基于平行语料的方法以平行语料库作为语料资源，利用语料库中的文档对齐信息对双语词典进行提取。由于平行语料库中具有高质量的对齐信息，因此基于平行语料构建双语词典的效果较好。然而，平行语料库通常只存在部分大语种的部分领域中，对于小语种的平行语料非常稀缺且难以构建。因此，该方法在实际应用中具有较大的局限性。基于可比语料的方法。该方法的基本假设为互译的词语通常出现在相似的上下文环境中，因此可以通过上下文向量的相似度来表示两个单词之间的相似程度以完成对互译对的抽取。基于种子词典的方法，该方法通过学大量的单语数据的语言结构和少量的种子词典之间的映射关系,搜索最近的词向量作为互译词典对，基于种子词典的方法需要较为成熟的双语词典作为种子词典，但是由于受到小语种双语词典规模和质量的限制，性能还有很大的提升空间。基于对抗网络的方法因为两种语言的单语词向量空间表现出近似的同态性，存在线性映射能够近似地连接这两个空间，通过对抗网络来学习该映射关系，然后基于该映射关系抽取词典，同时提出了一个与词翻译准确性高度相关的无监督模型选择标准。该方法在有同源词的语言中表现良好，但是，由于汉语和越南语之间的语言差异性较大，直接通过对抗网络构建汉-越双语词典效果有待提高。

受到对抗网络和枢轴思想的启发，同时考虑到汉语、英语、越南语单语语料比较丰富且具有汉-英、越-英双语词典，本文提出了一种基于英语枢轴的弱监督汉-越双语词典构建方法。

发明内容

本发明提供了一种基于英语枢轴的弱监督汉越双语词典构建方法，以用于解决现有汉越双语词典构建方法中存在的平行语料、种子词典等非常稀缺且难以标注以及现有方法效果不好等问题。

本发明的技术方案是：一种基于英语枢轴的弱监督汉越双语词典构建方法，所述方法的具体步骤为：

Step1、分别收集汉语、英语和越南语的单语语料以及对语料进行预处理；

Step2、基于种子词典的方法将汉越词向量分别对齐到英语词向量共享空间；

Step3、在英语词向量共享空间中通过对抗网络学习汉越词向量之间的映射关系；

Step4、采用不同的抽取策略抽取汉-越词典。

进一步地，所述步骤Step1的具体步骤为：

Step1.1、利用网络爬虫爬取汉英越语料：将针对不同的网址，编写不同的网络爬虫程序，获取汉英越语料；