[发明专利]基于BiLSTM-CNN的英缅双语平行句对抽取方法及装置

说明书

本发明涉及基于BiLSTM‑CNN的英缅双语平行句对抽取方法及装置，属于自然语言处理技术领域。本发明首先通过Muse工具预训练出双语词向量，然后利用缅甸语虚词和助词识别缅语的主谓宾的特点对句子进行功能标记，把每个词的句法结构信息拼接到词向量中，再使用BiLSTM‑CNN对句子中进行编码，把输出概率作为衡量是否为平行句对的条件。并根据上述步骤功能模块化制成基于BiLSTM‑CNN的英缅双语平行句对抽取装置。本发明较传统的双语平行句对识别系统更为简单，实验结果表明该方法及装置在正确率和召回率等指标表现上均优于基线系统，精确率普遍都有所提升。

技术领域

本发明涉及基于BiLSTM-CNN的英缅双语平行句对抽取方法及装置，属于自然语言处理技术领域。

背景技术

在自然语言处理领域中，平行语料库的规模对于机器翻译性能的提高具有重要作用，而对于资源稀缺型的缅甸语来说，英缅平行语料资源严重匮乏，机器翻译质量尚未达到实用水平。传统的获取平行语料的方法有人工翻译和利用机器翻译译文，然后前者成本较高效率较低，后者则依赖机器翻译性能，质量差。在网络上平行语料库规模相对是很少的，而可比语料库相比较较多，如何利用互联网上海量的英缅可比语料来获取英缅双语平行句对具有重要意义。

近几年，已有多种方法从可比语料库中抽取平行句对，例如利用最大熵方法构建分类器，从而在大量可比语料中抽取出平行句对，构建了汉英翻译系统，而该方法极大依赖于特征工程，而且需要大量的平行语料，对于资源稀缺的语言极不适用。传统的方法往往仅考虑自身语言所具有的语义信息，而实际上，不同语言间包含对应的功能结构，由于句子语义表达与句法结构密切相关，现有的表示方法虽能够一定程度上保留句子中词序信息，但不能避免句法结构信息的丢失，难以准确地学习到句子表示。

发明内容

未解决上述问题，本发明提供了基于BiLSTM-CNN的英缅双语平行句对抽取方法及装置，本发明正确率和召回率等指标表现上均优于基线系统，精确率普遍都有所提升。

本发明的技术方案是：基于BiLSTM-CNN的英缅双语平行句对抽取方法，所述方法的具体步骤如下：

Step1、利用从英缅互译网站爬取的英缅互译文章，通过人工进行筛选并对齐得到2万个平行句对进行双语词向量预训练，得到英-缅跨语言共享的词嵌入空间，从而再得到英缅双语词向量，让句子表征的语义向量在跨英-缅语义空间具有相关性；

Step2、对句子进行功能标记，把每个词的句法结构信息拼接到词向量中，获取英-缅的句法差异性；

Step3、使用BiLSTM对句子中的每个词信息进行正向和反向的信息传递，得到包含上下文信息的不同时序所产生的特征状态；利用CNN网络表示句子的句法特征，得到该句的语义特征；

Step4、通过使用上述步骤得到的语义特征的元素乘积和元素绝对差来捕获源句子和目标句子的语义特征的匹配信息，将匹配信息馈送到全连接层，把输出概率作为衡量是否为平行句对的条件来抽取平行句对。

进一步地，所述步骤Step1的具体步骤如下：

从英缅互译网站爬取的英缅互译文章，通过人工进行筛选并对齐得到2万个平行句对；

使用昆明理工大学研发的缅甸语分词系统，网址为222.197.219.24:8099，对缅甸语进行分词并通过利用一个英-缅的种子词典，进行有监督的方法训练，使用普鲁克斯特对齐Procrustes alignment进行迭代，学习从源语言到目标语言的映射，得到英-缅跨语言共享的词嵌入空间，从而得到英缅双语词向量；其中能使用Facebook的MUSE系统实现。

利用Facebook的MUSE系统预训练出英-缅跨语言共享的词嵌入空间，从而使语义相近的不同语言的词在词向量空间中距离接近，让句子表征的语义向量在跨英-缅语义空间具有相关性；