[发明专利]基于语义自适应编码的汉-越伪平行句对抽取方法

说明书

本发明涉及基于语义自适应编码的汉‑越伪平行句对抽取方法，属自然语言处理领域。本发明首先构建汉语‑越南语平行词典；利用汉语‑越南语平行词典对段落级的可比语料库进行预筛选，得到汉语‑越南语伪平行候选句子并将其输入到BiLSTM编码器；将BiLSTM编码器的输出作为深度语义自适应思考模块的输入；输出再作为语义相似性度量模块的输入；语义相似性度量模块的输出再输入到带sigmoid的前馈神经网络的预测模块中，计算它们平行的概率。本发明实现了汉语和越南语的上下文语义信息更深层次的表征，提取到了更高质量、噪声更小的汉‑越伪平行句对，为后续的汉语到越南语的语义分析、信息检索和机器翻译等工作提供强有力的支撑。

技术领域

本发明涉及基于语义自适应编码的汉-越伪平行句对抽取方法，属于自然语言处理技术领域。

背景技术

近年来随着国际合作的日益增强，汉-越低资源机器翻译问题受到越来越广泛的关注，但是受历史种种原因的限制，相较于丰富语言而言，汉语-越南语高质量的平行句对较为缺乏，平行句对资源的缺乏严重限制了传统神经机器框架下的汉-越机器翻译性能。其中伪平行句对抽取是缓解汉-越低资源机器翻译中数据稀缺问题的关键任务，同时也是提升机器翻译性能的重要手段，其中语义相似性是衡量句子是否平行的最重要指标之一。由于在句子中每个单词的语义表征难易程度不一样，导致句子语义信息不充分，提取到的句子质量不高，噪声比较大，导致了汉-越低资源下的神经机器翻译性能较差。

从可比语料库中提取伪平行句子并构建平行语料库提升机器翻译性能是目前对于低资源语言来说比较有效的一种方法，最理想的方法是手工进行抽取，但是这样成本比较高。利用统计机器翻译和神经机器翻译两种方法从可比语料库中抽取句子是比较有效的方法，也都有学者进行了研究。这些方法都是从句子级扩充训练数据，然后构建高质量的平行语料库。虽然他们的方法都能很好的抽取到伪平行句子，改善机器翻译的性能，但都是针对丰富语言(例如英语-法语)，而在低资源语言(例如汉语-越南语)上性能就比较差，同时提取到的句子噪声较大。

发明内容

本发明提供了基于语义自适应编码的汉-越伪平行句对抽取方法，以用于解决句子上下文语义信息不充分，提取到的句子质量不高，噪声比较大等问题，改善了低资源下神经机器翻译性能不佳的问题。

本发明的技术方案是：基于语义自适应编码的汉-越伪平行句对抽取方法，所述方法的具体步骤如下：

Step1、构建汉语-越南语平行词典；利用汉语-越南语平行词典对段落级的可比语料库进行预筛选，得到汉语-越南语伪平行候选句子；

Step2、将汉语-越南语伪平行候选句子输入到BiLSTM编码器，然后将BiLSTM编码器第二层相同位置上每个时间步长的两个方向的递归状态都拼接在一起，分别得到了汉语候选句子的隐藏状态和越南语候选句子的隐藏状态作为BiLSTM编码器的输出；

Step3、将BiLSTM编码器的输出作为深度语义自适应思考模块的输入，用于更新汉语候选句子的思考状态、越南语候选句子的思考状态；

Step4、把得到的汉语候选句子每个时刻的思考状态和越南语候选句子每个时刻的思考状态，作为语义相似性度量模块的输入，计算每个单词的方差，当方差小于规定的阈值，模型继续返回深度语义自适应思考模块进行思考；当方差大于或等于规定的阈值，模型就停止思考；其中最大思考次数设置为3；

Step5、语义相似性度量模块的输出为汉语候选句子的最终思考状态和越南语候选句子的最终思考状态，将其输入到一个带sigmoid的前馈神经网络的预测模块中，计算它们平行的概率，如果概率大于或等于设置的决策阈值，则将其分类为平行；如果小于决策阈值，则将其分类为不平行。